海量分片 | Elasticsearch: 权威指南 | Elastic
2024-11-23
请注意:
本书基于 Elasticsearch 2.x 版本，有些内容可能已经过时。
本书基于 Elasticsearch 2.x 版本，有些内容可能已经过时。
海量分片编辑
当新手们在了解过 分片预分配 之后做的第一件事就是对自己说：
我不知道这个索引将来会变得多大，并且过后我也不能更改索引的大小，所以为了保险起见，还是给它设为 1000 个分片吧… | ||
| -- 一个新手的话 | ||
一千个分片——当真？在你买来 一千个节点 之前，你不觉得你可能需要再三思考你的数据模型然后将它们重新索引吗？
一个分片并不是没有代价的。记住：
- 一个分片的底层即为一个 Lucene 索引，会消耗一定文件句柄、内存、以及 CPU 运转。
- 每一个搜索请求都需要命中索引中的每一个分片，如果每一个分片都处于不同的节点还好， 但如果多个分片都需要在同一个节点上竞争使用相同的资源就有些糟糕了。
- 用于计算相关度的词项统计信息是基于分片的。如果有许多分片，每一个都只有很少的数据会导致很低的相关度。
适当的预分配是好的。但上千个分片就有些糟糕。我们很难去定义分片是否过多了，这取决于它们的大小以及如何去使用它们。 一百个分片但很少使用还好，两个分片但非常频繁地使用有可能就有点多了。 监控你的节点保证它们留有足够的空闲资源来处理一些特殊情况。
横向扩展应当分阶段进行。为下一阶段准备好足够的资源。 只有当你进入到下一个阶段，你才有时间思考需要作出哪些改变来达到这个阶段。
Getting Started Videos
官方地址：https://www.elastic.co/guide/cn/elasticsearch/guide/current/kagillion-shards.html
IT
PHP
编程语言
Linux
开发编程
科技
Elasticsearch
HTML/CSS/XML
网络
JAVA
NoSQL
数据库
面试
C/C++
Golang
Git
算法
操作系统
正则表达式
Redis
互联网
MySql
JavaScript
运维
软件
国际
架构设计
Mac OS
TCP/IP
Excel
Vim
Windows
Socket
Oracle
VR
MongoDB
Python
运营
MemCache
商业
硬件
电子
娱乐
设计
nginx
摄影
游戏
WordPress
HTTP
团建
数码电器
广告
--
Elasticsearch集群模式知多少
Elasticsearch是做什么的以及它的使用和基本原理
携程Elasticsearch数据同步实践
Elasticsearch简介与实战
如何配置使用Elasticsearch的动态映射 (dynamic mapping)
elasticsearch动态映射
elasticsearch配置
elasticsearch集群部署文档
两节点Elasticsearch集群
Elasticsearch集群高亮搜索
elasticsearch集群分布式特性
elasticsearch出现只读索引如何操作 blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];')
elasticsearch最新版安装
ElasticSearch更新后延迟解决方法
ElasticSearch自带的分词类型
ElasticSearch集群中的分片查询方式
elasticsearch集群新机搭建
ES查找空字符串
[Elasticsearch] 多字段搜索 (二) - 最佳字段查询及其调优
Elasticsearch 映射参数 fields