写入数据的底层原理

1. 数据先写入到buffer里面&＃xff0c;在buffer里面的数据时搜索不到的&＃xff0c;同时将数据写入到translog日志文件之中
2. 如果buffer快满了&＃xff0c;或是一段时间之后&＃xff0c;就会将buffer数据refresh到一个新的OS cache之中&＃xff0c;然后每隔1秒&＃xff0c;就会将OS cache的数据写入到segment file之中&＃xff0c;但是如果每一秒钟没有新的数据到buffer之中&＃xff0c;就会创建一个新的空的segment file&＃xff0c;只要buffer中的数据被refresh到OS cache之中&＃xff0c;就代表这个数据可以被搜索到了。当然可以通过restful api 和Java api&＃xff0c;手动的执行一次refresh操作&＃xff0c;就是手动的将buffer中的数据刷入到OS cache之中&＃xff0c;让数据立马搜索到&＃xff0c;只要数据被输入到OS cache之中&＃xff0c;buffer的内容就会被清空了。同时进行的是&＃xff0c;数据到shard之后&＃xff0c;就会将数据写入到translog之中&＃xff0c;每隔5秒将translog之中的数据持久化到磁盘之中
3. 重复以上的操作&＃xff0c;每次一条数据写入buffer&＃xff0c;同时会写入一条日志到translog日志文件之中去&＃xff0c;这个translog文件会不断的变大&＃xff0c;当达到一定的程度之后&＃xff0c;就会触发commit操作。
4. 将一个commit point写入到磁盘文件&＃xff0c;里面标识着这个commit point 对应的所有segment file
5. 强行将OS cache 之中的数据都fsync到磁盘文件中去。
   解释&＃xff1a;translog的作用&＃xff1a;在执行commit之前&＃xff0c;所有的而数据都是停留在buffer或OS cache之中&＃xff0c;无论buffer或OS cache都是内存&＃xff0c;一旦这台机器死了&＃xff0c;内存的数据就会丢失&＃xff0c;所以需要将数据对应的操作写入一个专门的日志问价之中&＃xff0c;一旦机器出现宕机&＃xff0c;再次重启的时候&＃xff0c;es会主动的读取translog之中的日志文件的数据&＃xff0c;恢复到内存buffer和OS cache之中。
6. 将现有的translog文件进行清空&＃xff0c;然后在重新启动一个translog&＃xff0c;此时commit就算是成功了&＃xff0c;默认的是每隔30分钟进行一次commit&＃xff0c;但是如果translog的文件过大&＃xff0c;也会触发commit&＃xff0c;整个commit过程就叫做一个flush操作&＃xff0c;我们也可以通过ES API,手动执行flush操作&＃xff0c;手动将OS cache 的数据fsync到磁盘上面去&＃xff0c;记录一个commit point&＃xff0c;清空translog文件
   补充&＃xff1a;其实translog的数据也是先写入到OS cache之中的&＃xff0c;默认每隔5秒之中将数据刷新到硬盘中去&＃xff0c;也就是说&＃xff0c;可能有5秒的数据仅仅停留在buffer或者translog文件的OS cache中&＃xff0c;如果此时机器挂了&＃xff0c;会丢失5秒的数据&＃xff0c;但是这样的性能比较好&＃xff0c;我们也可以将每次的操作都必须是直接fsync到磁盘&＃xff0c;但是性能会比较差。
7. 如果时删除操作&＃xff0c;commit的时候会产生一个.del文件&＃xff0c;里面讲某个doc标记为delete状态&＃xff0c;那么搜索的时候&＃xff0c;会根据.del文件的状态&＃xff0c;就知道那个文件被删除了。
8. 如果时更新操作&＃xff0c;就是讲原来的doc标识为delete状态&＃xff0c;然后重新写入一条数据即可。
9. buffer每次更新一次&＃xff0c;就会产生一个segment file 文件&＃xff0c;所以在默认情况之下&＃xff0c;就会产生很多的segment file 文件&＃xff0c;将会定期执行merge操作
10. 每次merge的时候&＃xff0c;就会将多个segment file 文件进行合并为一个&＃xff0c;同时将标记为delete的文件进行删除&＃xff0c;然后将新的segment file 文件写入到磁盘&＃xff0c;这里会写一个commit point&＃xff0c;标识所有的新的segment file&＃xff0c;然后打开新的segment file供搜索使用。

总之&＃xff0c;segment的四个核心概念&＃xff0c;refresh&＃xff0c;flush&＃xff0c;translog、merge

搜索的底层原理

查询过程大体上分为查询和取回这两个阶段&＃xff0c;广播查询请求到所有相关分片&＃xff0c;并将它们的响应整合成全局排序后的结果集合&＃xff0c;这个结果集合会返回给客户端。

1. 查询阶段

   1. 当一个节点接收到一个搜索请求&＃xff0c;这这个节点就会变成协调节点&＃xff0c;第一步就是将广播请求到搜索的每一个节点的分片拷贝&＃xff0c;查询请求可以被某一个主分片或某一个副分片处理&＃xff0c;协调节点将在之后的请求中轮训所有的分片拷贝来分摊负载。
   2. 每一个分片将会在本地构建一个优先级队列&＃xff0c;如果客户端要求返回结果排序中从from 名开始的数量为size的结果集&＃xff0c;每一个节点都会产生一个from&＃43;size大小的结果集&＃xff0c;因此优先级队列的大小也就是from&＃43;size&＃xff0c;分片仅仅是返回一个轻量级的结果给协调节点&＃xff0c;包括结果级中的每一个文档的ID和进行排序所需要的信息。
   3. 协调节点将会将所有的结果进行汇总&＃xff0c;并进行全局排序&＃xff0c;最总得到排序结果。

2. 取值阶段

   1. 查询过程得到的排序结果&＃xff0c;标记处哪些文档是符合要求的&＃xff0c;此时仍然需要获取这些文档返回给客户端
   2. 协调节点会确定实际需要的返回的文档&＃xff0c;并向含有该文档的分片发送get请求&＃xff0c;分片获取的文档返回给协调节点&＃xff0c;协调节点将结果返回给客户端。