在OpenSearch中，当对动态新增的字段使用`terms`查询时，可能因为字段的默认动态映射（生成`text`和`keyword`类型）导致查询无结果。本文将深入解析这一机制，并提供两种有效的解决方案：一是利用`.keyword`后缀对未分析的字段进行精确匹配；二是理解`text`字段的分析过程，并查询其分析后的形式，从而确保`terms`查询能够成功检索到数据。
OpenSearch动态映射与字段类型解析
OpenSearch（或Elasticsearch）在索引文档时，如果遇到一个之前未在映射中声明的字段，它会根据字段内容的启发式判断自动生成一个映射。对于字符串类型的数据，默认情况下通常会生成两种子字段：
- text 类型字段：用于全文搜索。这类字段会经过分析器（analyzer）处理，例如分词、大小写转换、词干提取等。这意味着原始字符串“William”可能会被分析为“william”。
- keyword 类型字段：用于精确匹配、排序和聚合。这类字段不会被分析器处理，会原样存储。因此，原始字符串“William”仍将以“William”的形式存在。
当我们在一个新添加的字段上执行terms查询时，如果直接查询的是默认生成的text类型字段，而查询词与字段的分析后形式不匹配，或者期望的是精确匹配而text字段已被分析，就会出现查询不到结果的情况。
Terms查询的工作原理
terms查询是一个精确匹配查询，它要求查询的值与索引中字段的实际值（或分析后的词元）完全一致。它不执行任何分析，而是直接查找匹配的词元。因此，理解被查询字段的类型及其是否经过分析对于terms查询至关重要。
例如，如果一个字段被映射为text类型，并且其内容“William”经过默认分析器处理后变成了“william”，那么使用terms查询“William”将无法找到结果，而使用“william”则可能找到。相反，如果字段是keyword类型，其内容“William”未被分析，那么使用terms查询“William”才能找到结果。
解决方案一：利用.keyword后缀进行精确匹配
最直接且推荐的方法是利用OpenSearch为text字段自动创建的keyword子字段。通过在字段名后加上.keyword后缀，可以直接查询未经过分析器处理的原始字符串值，从而实现精确匹配。
示例代码：
假设您有一个名为lastname的字段，它在动态映射后同时拥有lastname（text类型）和lastname.keyword（keyword类型）。要精确查询值为“William”的文档，应使用lastname.keyword：
POST abc/_search
{
"query": {
"bool": {
"must": [
{
"terms": {
"lastname.keyword": [
"William"
]
}
}
]
}
}
}这种方法适用于需要区分大小写或包含特殊字符等精确匹配场景。
解决方案二：匹配text字段的分析后形式
如果您坚持查询text类型的字段（即不带.keyword后缀的字段），那么您需要确保terms查询中的值与该字段经过分析器处理后的词元完全匹配。OpenSearch的默认分析器通常会执行小写转换。
示例代码：
如果lastname字段是text类型，并且其默认分析器将“William”转换为小写“william”，那么您的查询词也必须是小写：
POST abc/_search
{
"query": {
"bool": {
"must": [
{
"terms": {
"lastname": [
"william"
]
}
}
]
}
}
}注意事项：
- 这种方法依赖于对OpenSearch默认分析器行为的理解。不同的语言或自定义分析器可能会有不同的处理规则。
- 对于需要精确匹配的场景，直接查询text字段并依赖其分析后的形式通常不是最佳实践，因为它可能导致意外的行为或难以预测的结果。.keyword字段提供了更稳定和可靠的精确匹配能力。
最佳实践与总结
为了避免在使用terms查询时遇到新增字段无结果的问题，以下是几点建议和最佳实践：
-
明确映射：对于任何需要进行精确匹配、聚合或排序的字段，强烈建议在创建索引时就明确地将其映射为keyword类型，而不是依赖动态映射。这能提供更强的控制力，并避免因默认分析器行为导致的问题。
PUT my_index { "mappings": { "properties": { "name": { "type": "text" }, "lastname": { "type": "keyword" } } } } - 理解字段类型：深入理解text和keyword字段的区别是高效使用OpenSearch的关键。text字段适用于全文检索（例如使用match或match_phrase查询），而keyword字段适用于精确匹配（term、terms查询）、聚合和排序。
-
调试查询：如果查询仍然没有返回预期结果，可以使用OpenSearch的_analyze API来查看特定字段的分析器是如何处理您的数据和查询词的，这有助于诊断问题。
GET _analyze { "analyzer": "standard", "text": "William" }
通过遵循上述解决方案和最佳实践，您可以有效地解决OpenSearch中新增字段terms查询无结果的问题，并更好地利用OpenSearch的强大查询能力。
