当在OpenSearch中查询新增字段却无法获取结果时，通常是由于OpenSearch的自动映射机制导致。新字段在未显式声明映射时，会被默认创建为text和keyword两种类型。terms查询对text字段执行精确匹配时，需考虑其经过分析器处理（如小写转换）后的词元；而对keyword字段，则需使用.keyword后缀进行精确匹配。本文将详细阐述这两种解决方案。
OpenSearch自动映射与字段类型解析
在OpenSearch（或Elasticsearch）中，当您索引一个包含新字段的文档，而该字段在索引的映射中尚未定义时，OpenSearch会尝试自动推断其数据类型并创建相应的映射。对于字符串类型的数据，默认情况下，OpenSearch通常会创建两种子字段：
- text 类型字段： 这种字段会经过分析器（analyzer）处理。分析器会将原始字符串分解成词元（tokens），并可能对其进行转换，例如转换为小写、去除停用词、词干提取等。text字段主要用于全文搜索。
- keyword 类型子字段（通常以.keyword后缀命名）： 这种字段不会经过分析器处理，而是将整个字符串作为一个单一的词元进行索引。keyword字段适用于精确匹配、聚合、排序等操作。
当您使用terms查询时，它期望的是精确匹配。因此，理解字段是text类型还是keyword类型，以及它们如何存储数据，是解决查询问题的关键。
问题场景分析
假设您有一个名为abc的索引，其中包含一个旧字段name，可以正常查询。现在您开始向文档中添加一个新字段lastname，例如"lastname": "William"。当您尝试使用以下terms查询来查找lastname为William的文档时，却发现没有任何结果：
POST abc/_search
{
"query": {
"bool": {
"must": [
{
"terms": {
"lastname": [
"William"
]
}
}
]
}
}
}这是因为lastname字段在首次索引时，OpenSearch自动将其识别为字符串，并创建了lastname（text类型）和lastname.keyword（keyword类型）两个字段。terms查询默认针对text类型字段进行，但text字段中的William可能已被分析器转换为william。
解决方案
要成功查询新字段，您需要根据实际需求选择以下两种方法之一：
方法一：使用.keyword子字段进行精确匹配
如果您希望对字段进行精确匹配，而不受分析器处理的影响，那么应该使用自动生成的keyword子字段。这个子字段存储的是原始、未经分析的字符串。
示例代码：
POST abc/_search
{
"query": {
"bool": {
"must": [
{
"terms": {
"lastname.keyword": [
"William"
]
}
}
]
}
}
}通过将查询字段从lastname改为lastname.keyword，terms查询将直接匹配存储在keyword字段中的原始值William，从而获取正确的结果。
方法二：查询text字段并匹配分析后的词元
如果您确实想查询text类型字段，并利用其分析器处理的特性（例如，希望查询不区分大小写），那么您需要确保查询条件与分析器处理后的词元相匹配。OpenSearch的默认分析器通常会执行小写转换。
示例代码：
POST abc/_search
{
"query": {
"bool": {
"must": [
{
"terms": {
"lastname": [
"William"
]
}
}
]
}
}
}在此示例中，我们将查询条件"William"改为"william"（小写）。如果默认分析器将William转换为william，那么这个查询就能成功匹配到文档。
注意事项与最佳实践
-
明确映射： 为了避免自动映射带来的不确定性，强烈建议在创建索引时或在添加新字段之前，显式地定义字段的映射（Mapping）。通过明确指定字段类型（例如keyword用于精确匹配，text用于全文搜索），您可以更好地控制数据存储和查询行为。
PUT abc { "mappings": { "properties": { "name": { "type": "keyword" }, "lastname": { "type": "keyword" // 或者如果您需要全文搜索，可以定义为 text // "type": "text", // "fields": { // "keyword": { // "type": "keyword", // "ignore_above": 256 // } // } } } } } - 验证映射： 当遇到查询问题时，检查当前字段的实际映射是非常有用的。您可以使用GET abc/_mapping命令来查看索引的映射定义。
- 理解分析器： 如果您选择使用text字段进行查询，务必理解所使用的分析器（默认分析器或自定义分析器）是如何处理文本的。这有助于您构建正确的查询词元。
-
term与match查询：
- term或terms查询适用于精确匹配，通常用于keyword字段或已知分析器行为的text字段。
- match查询则更适合全文搜索，它会使用字段的分析器来处理查询字符串，然后与分析后的词元进行匹配。
总结
当OpenSearch中新字段的terms查询没有返回预期结果时，核心原因在于OpenSearch的自动映射机制将字符串字段默认处理为text和keyword两种类型。要解决此问题，您可以选择：
- 使用lastname.keyword对keyword子字段进行精确匹配。
- 将查询词元调整为分析器处理后的形式（例如小写），以匹配text字段中的词元。
最佳实践是始终显式定义字段映射，以确保数据存储和查询行为符合预期，从而避免因自动映射而产生的潜在问题。
