Elasticsearch之allocation模块分析（1）

序

这一章节主要分析allocation模块的结构和原理，分析allocation模块的工作过程

前言

在此之前先看看什么是分片，它在磁盘上是以什么形式存储的

首先用postman发起创建索引请求

PUT localhost:9200/test02{"settings":{"number_of_shards":2,"number_of_replicas":1}
}

test02在后台代码中用随机UUID生成对应的index.uuid；

indexSettingsBuilder.put(SETTING_INDEX_UUID, UUIDs.randomBase64UUID());

请求结束后，本地节点data目录下：产生如下数据目录 

他们的相关参数在代码中对应的key如下json所示

{

    "client.type": "node", 

    "cluster.election.strategy": "supports_voting_only", 

    "cluster.name": "es-source-demo", 

    "http.type": "security4", 

    "http.type.default": "netty4", 

    "node.attr.ml.machine_memory": "16934494208", 

    "node.attr.ml.max_open_jobs": "20", 

    "node.attr.transform.node": "true", 

    "node.attr.xpack.installed": "true", 

    "node.name": "es-source-node", 

    "path.home": "E:\\installations\\es_tools\\elasticsearch-7.8.0-windows-x86_64\\elasticsearch-7.8.0", 

    "path.logs": "E:\\installations\\es_tools\\elasticsearch-7.8.0-windows-x86_64\\elasticsearch-7.8.0\\logs", 

    "transport.features.x-pack": "true", 

    "transport.type": "security4", 

    "transport.type.default": "netty4"

}

将数据目录梳理成树形结构如下所示： 

• node.lock：该文件用于确保一次只能从一个数据目录读取/写入一个Elasticsearch实例。
• index.uuid：对应的是索引的唯一标识，Elasticsearch内部是根据这个唯一标识来区分不同索引的。
• shard_id：即为分片编号，从0开始递增
• state-0.st：保存索引状态文件，如索引创建时间、设置等。也是二进制文件。state后面的编号是版本号，类似集群状态文件。

上面图片中的0/1就是所谓的分片，分片是一个物理概念，对应节点上的一个具体路径；其中分片0/1中也保存当前分片是主分片还是副本分片信息

一、什么是allocation

        分片分配就是把一个分片分配到集群中某个节点的过程。分配决策由主节点完成，分片决策包含两个方面

• 哪些分片应该分配给哪些节点
• 哪个分片作为主分片，哪些分片作为副分片

        对于新建索引和已有索引，分片分配过程不同；ES通过allocators和deciders两个组件完成分配工作；其中allocator尝试寻找最优节点分配分片，deciders负责判断并决定是否要进行这次分配

对于新建索引（分配）

• allocators负责找出拥有分片数最少的节点列表，并按照节点拥有的分片数量升序排序，因此在这个列表中，分片较少的节点会被优先选择；
• 对于新建索引，allocators的目标就是以更均衡的方式把新索引的分片分配到集群的节点中；deciders依次遍历allocators给出的节点，并判断是否把分片分配到该节点。
• 注意allocator只关心每个节点上的分片数，而不关心每个分片的大小；因此deciders还有一部分职责就是阻止把分片分配到将超出节点磁盘容量阈值的节点上

对于已有索引

• 对于主分片，allocators只允许把主分片指定在已经拥有该分片完整数据的节点上；这里作者也有疑问，该分片指什么？完整数据作何理解？
• 对于副本分片，allocators则是先判断其他节点上是否已有该分片的数据的副本（即便数据不是最新的）。如果有这样的节点，则allocators优先把分片分配到其中一个节点。
• 因为副本分片一旦分配，就需要从主分片中进行数据同步，所以当一个节点只拥有分片中的部分数据时，也就意味着哪些未拥有的数据必须从主分片中复制得到，这样可以提高副本分片的数据恢复速度