ES底层读写工作原理

面试题

es 写入数据的工作原理是什么啊&＃xff1f;es 查询数据的工作原理是什么啊&＃xff1f;底层的 lucene 介绍一下呗&＃xff1f;倒排索引了解吗&＃xff1f;

面试官心理分析

问这个&＃xff0c;其实面试官就是要看看你了解不了解 es 的一些基本原理&＃xff0c;因为用 es 无非就是写入数据&＃xff0c;搜索数据。你要是不明白你发起一个写入和搜索请求的时候&＃xff0c;es 在干什么&＃xff0c;那你真的是…

对 es 基本就是个黑盒&＃xff0c;你还能干啥&＃xff1f;你唯一能干的就是用 es 的 api 读写数据了。要是出点什么问题&＃xff0c;你啥都不知道&＃xff0c;那还能指望你什么呢&＃xff1f;

面试题剖析

es 搜索数据过程

es 最强大的是做全文检索&＃xff0c;就是比如你有三条数据&＃xff1a;

java真好玩儿啊
java好难学啊
j2ee特别牛


复制

你根据 java 关键词来搜索&＃xff0c;将包含 java的 document 给搜索出来。es 就会给你返回&＃xff1a;java真好玩儿啊&＃xff0c;java好难学啊。

• 客户端发送请求到一个 coordinate node。
• 协调节点将搜索请求转发到所有的 shard 对应的 primary shard 或 replica shard&＃xff0c;都可以。
• query phase&＃xff1a;每个 shard 将自己的搜索结果&＃xff08;其实就是一些 doc id&＃xff09;返回给协调节点&＃xff0c;由协调节点进行数据的合并、排序、分页等操作&＃xff0c;产出最终结果。
• fetch phase&＃xff1a;接着由协调节点根据 doc id 去各个节点上拉取实际的 document 数据&＃xff0c;最终返回给客户端。

写数据底层原理

先写入内存 buffer&＃xff0c;在 buffer 里的时候数据是搜索不到的&＃xff1b;同时将数据写入 translog 日志文件。

如果 buffer 快满了&＃xff0c;或者到一定时间&＃xff0c;就会将内存 buffer 数据 refresh 到一个新的 segment file 中&＃xff0c;但是此时数据不是直接进入 segment file 磁盘文件&＃xff0c;而是先进入 os cache 。这个过程就是 refresh。

每隔 1 秒钟&＃xff0c;es 将 buffer 中的数据写入一个新的 segment file&＃xff0c;每秒钟会产生一个新的磁盘文件 segment file&＃xff0c;这个 segment file 中就存储最近 1 秒内 buffer 中写入的数据。

但是如果 buffer 里面此时没有数据&＃xff0c;那当然不会执行 refresh 操作&＃xff0c;如果buffer里面有数据&＃xff0c;默认 1 秒钟执行一次 refresh 操作&＃xff0c;刷入一个新的 segment file 中。

操作系统里面&＃xff0c;磁盘文件其实都有一个东西&＃xff0c;叫做 os cache&＃xff0c;即操作系统缓存&＃xff0c;就是说数据写入磁盘文件之前&＃xff0c;会先进入 os cache&＃xff0c;先进入操作系统级别的一个内存缓存中去。只要 buffer 中的数据被 refresh 操作刷入 os cache中&＃xff0c;这个数据就可以被搜索到了。

为什么叫 es 是准实时的&＃xff1f;NRT&＃xff0c;全称 near real-time。默认是每隔 1 秒 refresh 一次的&＃xff0c;所以 es 是准实时的&＃xff0c;因为写入的数据 1 秒之后才能被看到。可以通过 es 的 restful api 或者 java api&＃xff0c;手动执行一次 refresh 操作&＃xff0c;就是手动将 buffer 中的数据刷入 os cache中&＃xff0c;让数据立马就可以被搜索到。只要数据被输入 os cache 中&＃xff0c;buffer 就会被清空了&＃xff0c;因为不需要保留 buffer 了&＃xff0c;数据在 translog 里面已经持久化到磁盘去一份了。

重复上面的步骤&＃xff0c;新的数据不断进入 buffer 和 translog&＃xff0c;不断将 buffer 数据写入一个又一个新的 segment file 中去&＃xff0c;每次 refresh 完 buffer 清空&＃xff0c;translog保留。随着这个过程推进&＃xff0c;translog 会变得越来越大。当 translog 达到一定长度的时候&＃xff0c;就会触发 commit 操作。

commit 操作发生第一步&＃xff0c;就是将 buffer 中现有数据 refresh 到 os cache 中去&＃xff0c;清空 buffer。然后&＃xff0c;将一个 commit point 写入磁盘文件&＃xff0c;里面标识着这个 commit point 对应的所有 segment file&＃xff0c;同时强行将 os cache 中目前所有的数据都 fsync 到磁盘文件中去。最后清空 现有 translog 日志文件&＃xff0c;重启一个 translog&＃xff0c;此时 commit 操作完成。

这个 commit 操作叫做 flush。默认 30 分钟自动执行一次 flush&＃xff0c;但如果 translog 过大&＃xff0c;也会触发 flush。flush 操作就对应着 commit 的全过程&＃xff0c;我们可以通过 es api&＃xff0c;手动执行 flush 操作&＃xff0c;手动将 os cache 中的数据 fsync 强刷到磁盘上去。

translog 日志文件的作用是什么&＃xff1f;你执行 commit 操作之前&＃xff0c;数据要么是停留在 buffer 中&＃xff0c;要么是停留在 os cache 中&＃xff0c;无论是 buffer 还是 os cache 都是内存&＃xff0c;一旦这台机器死了&＃xff0c;内存中的数据就全丢了。所以需要将数据对应的操作写入一个专门的日志文件 translog 中&＃xff0c;一旦此时机器宕机&＃xff0c;再次重启的时候&＃xff0c;es 会自动读取 translog 日志文件中的数据&＃xff0c;恢复到内存 buffer 和 os cache 中去。

translog 其实也是先写入 os cache 的&＃xff0c;默认每隔 5 秒刷一次到磁盘中去&＃xff0c;所以默认情况下&＃xff0c;可能有 5 秒的数据会仅仅停留在 buffer 或者 translog 文件的 os cache 中&＃xff0c;如果此时机器挂了&＃xff0c;会丢失 5 秒钟的数据。但是这样性能比较好&＃xff0c;最多丢 5 秒的数据。也可以将 translog 设置成每次写操作必须是直接 fsync 到磁盘&＃xff0c;但是性能会差很多。

实际上你在这里&＃xff0c;如果面试官没有问你 es 丢数据的问题&＃xff0c;你可以在这里给面试官炫一把&＃xff0c;你说&＃xff0c;其实 es 第一是准实时的&＃xff0c;数据写入 1 秒后可以搜索到&＃xff1b;可能会丢失数据的。有 5 秒的数据&＃xff0c;停留在 buffer、translog os cache、segment file os cache 中&＃xff0c;而不在磁盘上&＃xff0c;此时如果宕机&＃xff0c;会导致 5 秒的数据丢失。

数据写入 segment file 之后&＃xff0c;同时就建立好了倒排索引。

删除/更新数据底层原理

如果是删除操作&＃xff0c;commit 的时候会生成一个 .del 文件&＃xff0c;里面将某个 doc 标识为 deleted 状态&＃xff0c;那么搜索的时候根据 .del 文件就知道这个 doc 是否被删除了。

如果是更新操作&＃xff0c;就是将原来的 doc 标识为 deleted 状态&＃xff0c;然后新写入一条数据。

buffer 每次 refresh 一次&＃xff0c;就会产生一个 segment file&＃xff0c;所以默认情况下是 1 秒钟一个 segment file&＃xff0c;这样下来 segment file 会越来越多&＃xff0c;此时会定期执行 merge。每次 merge 的时候&＃xff0c;会将多个 segment file 合并成一个&＃xff0c;同时这里会将标识为 deleted 的 doc 给物理删除掉&＃xff0c;然后将新的 segment file 写入磁盘&＃xff0c;这里会写一个 commit point&＃xff0c;标识所有新的 segment file&＃xff0c;然后打开 segment file 供搜索使用&＃xff0c;同时删除旧的 segment file。

底层 lucene

简单来说&＃xff0c;lucene 就是一个 jar 包&＃xff0c;里面包含了封装好的各种建立倒排索引的算法代码。我们用 Java 开发的时候&＃xff0c;引入 lucene jar&＃xff0c;然后基于 lucene 的 api 去开发就可以了。

通过 lucene&＃xff0c;我们可以将已有的数据建立索引&＃xff0c;lucene 会在本地磁盘上面&＃xff0c;给我们组织索引的数据结构。

倒排索引

在搜索引擎中&＃xff0c;每个文档都有一个对应的文档 ID&＃xff0c;文档内容被表示为一系列关键词的集合。例如&＃xff0c;文档 1 经过分词&＃xff0c;提取了 20 个关键词&＃xff0c;每个关键词都会记录它在文档中出现的次数和出现位置。

那么&＃xff0c;倒排索引就是关键词到文档 ID 的映射&＃xff0c;每个关键词都对应着一系列的文件&＃xff0c;这些文件中都出现了关键词。

举个栗子。

有以下文档&＃xff1a;

对文档进行分词之后&＃xff0c;得到以下倒排索引。

另外&＃xff0c;实用的倒排索引还可以记录更多的信息&＃xff0c;比如文档频率信息&＃xff0c;表示在文档集合中有多少个文档包含某个单词。

那么&＃xff0c;有了倒排索引&＃xff0c;搜索引擎可以很方便地响应用户的查询。比如用户输入查询 Facebook&＃xff0c;搜索系统查找倒排索引&＃xff0c;从中读出包含这个单词的文档&＃xff0c;这些文档就是提供给用户的搜索结果。

本文为ES系列的收集文章&＃xff0c;原文见链接&＃xff1a;https://cloud.tencent.com/developer/article/1739481