多词同义词和短语查询 | Elasticsearch: 权威指南 | Elastic
2024-12-24
至此,同义词看上去还挺简单的。然而不幸的是,复杂的部分才刚刚开始。 为了能使 短语查询 正常工作, Elasticsearch 需要知道每个词在初始文本中的位置。多词同义词会严重破坏词的位置信息,尤其当新增的同义词标记长度各不相同的时候。
我们创建一个同义词语汇单元过滤器,然后使用下面这样的同义词规则:
"usa,united states,u s a,united states of america"
PUT /my_index { "settings": { "analysis": { "filter": { "my_synonym_filter": { "type": "synonym", "synonyms": [ "usa,united states,u s a,united states of america" ] } }, "analyzer": { "my_synonyms": { "tokenizer": "standard", "filter": [ "lowercase", "my_synonym_filter" ] } } } } } GET /my_index/_analyze?analyzer=my_synonyms&text= The United States is wealthy
解析器
会输出下面这样的结果:
Pos 1: (the) Pos 2: (usa,united,u,united) Pos 3: (states,s,states) Pos 4: (is,a,of) Pos 5: (wealthy,america)
如果你用上面这个同义词语汇单元过滤器索引一个文档,然后执行一个短语查询,那你就会得到惊人的结果,下面这些短语都不会匹配成功:
但是这些短语会:
如果你是在查询阶段使同义词,那你就会看到更加诡异的匹配结果。看下这个 validate-query
查询:
GET /my_index/_validate/query?explain { "query": { "match_phrase": { "text": { "query": "usa is wealthy", "analyzer": "my_synonyms" } } } }
查询关键字会被同义词语汇单元过滤器处理成类似这样的信息:
"(usa united u united) (is states s states) (wealthy a of) america"
这会匹配包含有 u is of america
的文档,但是匹配不出任何含有 america
的文档。
避免这种混乱的方法是使用 简单收缩, 用单个词项 表示所有的同义词, 然后在查询阶段,就只需要针对这单个词进行查询了:
PUT /my_index { "settings": { "analysis": { "filter": { "my_synonym_filter": { "type": "synonym", "synonyms": [ "united states,u s a,united states of america=>usa" ] } }, "analyzer": { "my_synonyms": { "tokenizer": "standard", "filter": [ "lowercase", "my_synonym_filter" ] } } } } } GET /my_index/_analyze?analyzer=my_synonyms The United States is wealthy
上面那个查询信息就会被处理成类似下面这样:
Pos 1: (the) Pos 2: (usa) Pos 3: (is) Pos 5: (wealthy)
现在我们再次执行我们之前做过的那个 validate-query
查询,就会输出一个简单又合理的结果:
"usa is wealthy"
这个方法的缺点是,因为把 united states of america
转换成了同义词 usa
, 你就不能使用 united states of america
去搜索出 united
或者 states
。
你需要使用一个额外的字段并用另一个解析器链来达到这个目的。
本书很少谈论到 query_string
查询,
因为真心不推荐你用它。
在 复杂查询 一节中有提到,由于 query_string
查询支持一个精简的 查询语法 ,因此,可能这会导致它搜出一些出人意料的结果或者甚至是含有语法错误的结果。
这种查询方式存在不少问题,而其中之一便与多词同义有关。为了支持它的查询语法,你必须用指定的、该语法所能识别的操作符号来标示,比如 AND
、 OR
、 +
、 -
、 field:
等等。
(更多相关内容参阅 query_string
语法 。)
而在这种语法的解析过程中,解析动作会把查询文本在空格符处作切分,然后分别把每个切分出来的词传递给相关性解析器。
这也即意味着你的同义词解析器永远都不可能收到类似 United States
这样的多个单词组成的同义词。由于不会把 United States
作为一个原子性的文本,所以同义词解析器的输入信息永远都是两个被切分开的词 United
和 States
。
所幸, match
查询相比而言就可靠得多了,因为它不支持上述语法,所以多个字组成的同义词不会被切分开,而是会完整地交给解析器处理。
官方地址:https://www.elastic.co/guide/cn/elasticsearch/guide/current/multi-word-synonyms.html