配置语言分析器 | Elasticsearch: 权威指南

配置语言分析器 | Elasticsearch: 权威指南 | Elastic

2024-12-24

请注意:
本书基于 Elasticsearch 2.x 版本，有些内容可能已经过时。

» » »

配置语言分析器编辑

语言分析器都不需要任何配置，开箱即用，它们中的大多数都允许你控制它们的各方面行为，具体来说：

词干提取排除

想象下某个场景，用户们想要搜索 World Health Organization 的结果，但是却被替换为搜索 organ health 的结果。有这个困惑是因为 organ 和 organization 有相同的词根： organ 。通常这不是什么问题，但是在一些特殊的文档中就会导致有歧义的结果，所以我们希望防止单词 organization 和 organizations 被缩减为词干。

自定义停用词

英语中默认的停用词列表如下：

a, an, and, are, as, at, be, but, by, for, if, in, into, is, it,
no, not, of, on, or, such, that, the, their, then, there, these,
they, this, to, was, will, with

关于单词 no 和 not 有点特别，这俩词会反转跟在它们后面的词汇的含义。或许我们应该认为这两个词很重要，不应该把他们看成停用词。

为了自定义 english （英语）分词器的行为，我们需要基于 english （英语）分析器创建一个自定义分析器，然后添加一些配置：

PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_english": {
          "type": "english",
          "stem_exclusion": [ "organization", "organizations" ], 
          "stopwords": [ 
            "a", "an", "and", "are", "as", "at", "be", "but", "by", "for",
            "if", "in", "into", "is", "it", "of", "on", "or", "such", "that",
            "the", "their", "then", "there", "these", "they", "this", "to",
            "was", "will", "with"
          ]
        }
      }
    }
  }
}

GET /my_index/_analyze?analyzer=my_english 
The World Health Organization does not sell organs.

	防止 `organization` 和 `organizations` 被缩减为词干
	指定一个自定义停用词列表
	切词为 `world` 、 `health` 、 `organization` 、 `does` 、 `not` 、 `sell` 、 `organ`

我们在 将单词还原为词根 和 停用词: 性能与精度 中分别详细讨论了词干提取和停用词。

« 使用语言分析器混合语言的陷阱 »

官方地址：https://www.elastic.co/guide/cn/elasticsearch/guide/current/configuring-language-analyzers.html

有任何技术问题请点击这里网站运营推广招聘

IT PHP 编程语言 Linux 开发编程科技 Elasticsearch HTML/CSS/XML 网络数据库 JAVA 面试 NoSQL C/C++ Golang Git 算法操作系统正则表达式 Redis 互联网 MySql JavaScript 运维软件国际架构设计 Mac OS TCP/IP Excel Vim Windows Socket Oracle VR MongoDB Python 运营 MemCache 商业硬件电子娱乐设计 nginx 摄影游戏 WordPress HTTP 团建数码电器

Elasticsearch集群模式知多少 Elasticsearch是做什么的以及它的使用和基本原理携程Elasticsearch数据同步实践 Elasticsearch简介与实战如何配置使用Elasticsearch的动态映射 (dynamic mapping) elasticsearch动态映射 elasticsearch配置 elasticsearch集群部署文档两节点Elasticsearch集群 elasticsearch集群分布式特性 Elasticsearch集群高亮搜索 elasticsearch出现只读索引如何操作 blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];') elasticsearch最新版安装 ElasticSearch自带的分词类型 ElasticSearch更新后延迟解决方法 elasticsearch集群新机搭建 ElasticSearch集群中的分片查询方式 [Elasticsearch] 多字段搜索 (一) - 多个及单个查询字符串 Elasticsearch Mapping设置 es 相关配置文件

略微加速

Elasticsearch权威指南 - 互联网笔记

配置语言分析器编辑

略微加速

Elasticsearch权威指南 - 互联网笔记

配置语言分析器编辑

Getting Started Videos