Elasticsearch索引(写入)速度优化

1.缩减索引字段

es中只保留必要字段&＃xff0c;缩减字段能有效缩减文档大小&＃xff0c;提高写入速度。

2.合理设置分片数和副本数

7.*默认1个分片1和副本。Elasticsearch官方建议一个分片的大小应该在20到40 GB左右&＃xff0c;分片个数建议 >&＃61; 集群节点的个数&＃xff0c;但是当索引较小时&＃xff08;写入性能需求 > 搜索性能需求时&＃xff09;&＃xff0c;可以使用1个分片&＃xff0c;过多的分片也会影响写入性能。

分片大小对于搜索查询非常重要。

• 一方面&＃xff0c; 如果分配给索引的分片太多&＃xff0c;则Lucene分段会很小&＃xff0c;从而导致开销增加。 当同时进行多个查询时&＃xff0c;许多小分片也会降低查询吞吐量。
• 另一方面&＃xff0c;太大的分片会导致搜索性能下降和故障恢复时间更长。

在批量索引文档前可以将副本数设置为0&＃xff0c;索引完成后恢复原来的值。

"number_of_replicas":1
"number_of_shards":1

3.索引刷新间隔refresh_interval

默认情况下refresh_interval为1s&＃xff0c;数据写入1秒后就可以被搜索到&＃xff0c;每次索引的refresh会产生一个新的Lucene段&＃xff0c;Lucene段即为segment&＃xff0c;segment在复合一定条件后&＃xff0c;会自动合并&＃xff0c;因此这会导致频繁的segment merge行为&＃xff0c;如果不需要特别高的搜索实时性&＃xff0c;应该降低索引refresh周期。-1:禁止刷新。在批量索引文档前可以将refresh_interval设置为-1&＃xff0c;完成后修改为默认值。由于我的场景是每天都会全量同步&＃xff0c;此处将refresh_interval设置为120s

"refresh_interval": "120s"

假如refresh_interval设置为-1&＃xff0c;只是es中的定时任务不会执行。但是es会根据一个versionMap去强制做一次refresh操作&＃xff0c;缓冲区满的时候也会触发refresh操作。每30秒有个定时器去检查shardIndexingBufferSize大小&＃xff0c;最终调用updateShardBuffers方法去refresh

4.translog设置

随着translog文件越来越大时要考虑把内存中的数据刷新到磁盘中&＃xff0c;这个过程称为flush。在默认设置下&＃xff0c;translog的持久化策略为: request&＃xff0c;每个请求 都“flush”&＃xff0c;配置异步刷新&＃xff0c;刷新时间120s。

"index.translog.durability": "async"
"index.translog.sync_interval": "120s"

5.线程池队列

当写入队列满时&＃xff0c;es会拒绝接受索引事件&＃xff0c;适当增加写入队列大小&＃xff0c;默认为200。线程池大小官方不建议进行修改。

thread_pool.write.queue_size: 500

6.使用es自动生成的id

无更新操作时&＃xff0c;尽量使用es自动生成的id&＃xff0c;当你index一个document使用特定的id&＃xff0c;ES需要去检查是否在同一个shard存在相同的ID的文档&＃xff0c;这是一个相当昂贵的操作&＃xff0c;并且随着文档数量的增加&＃xff0c;花费呈指数增长。如果使用自动生成id&＃xff0c;ES会跳过这个检查&＃xff0c;使得Index速度更快。但是当需要更新操作时不适用。

7.Indexing 缓冲大小

在执行大量的索引操作时&＃xff0c;indices.memory.index_buffer_size的默认 设置可能不够&＃xff0c;这和可用堆内存、单节点上的shard数量相关&＃xff0c;可以考虑适当增大该值&＃xff0c;增大该值&＃xff0c;减少segment&＃xff0c;就会减少merge。默认大小为10% 48mb

indices.memory.index_buffer_size: 20%
indices.memory.min_index_buffer_size: 96mb

8.jvm.options

Xmx和Xms的大小默认为1g&＃xff0c;可以适当增加该值。

-Xms2g
-Xmx2g

9.禁用swapping

在ES的官方文档上&＃xff0c;要求Disabled Swapping。执行swapoff -a暂时禁用&＃xff0c;机器重启后会恢复。要永久的关闭swapping&＃xff0c;需要编辑/etc/fstab文件&＃xff0c;将包含swap的行的注释掉。

参考文档&＃xff1a;

1. https://www.cnblogs.com/eviltuzki/p/8439036.html
2. https://blog.csdn.net/wmj2004/article/details/80804411
3. https://blog.csdn.net/u012133048/article/details/93408374?utm_medium&＃61;distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source&＃61;distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
4. https://blog.csdn.net/HaixWang/article/details/80846749?utm_medium&＃61;distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source&＃61;distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase
5. https://www.cnblogs.com/MyOceansWeb/p/12653965.html
6. https://blog.csdn.net/laoyang360/article/details/85109769
7. https://blog.csdn.net/laoyang360/article/details/97695931
8. 7.*官方文档