有索引的html文档怎么做,索引文件的生成（一）

在执行flush()的过程中&＃xff0c;Lucene会将内存中的索引信息生成索引文件&＃xff0c;其生成的时机点如下图红色框标注&＃xff1a;

图1&＃xff1a;

图一中的流程是flush()阶段的其中一个流程点&＃xff0c;完整的flush()过程可以看系列文章文档提交之flush&＃xff0c;索引文件的生成系列文章将会介绍图一中红框标注的每一个流程点&＃xff0c;本篇文章先介绍生成索引文件

.tim、.tip、.doc、.pos、.pay流程点。

生成索引文件.tim、.tip、.doc、.pos、.pay

在添加文档阶段&＃xff0c;一篇文档中的term所属文档号docId&＃xff0c;在文档内的出现次数frequency&＃xff0c;位置信息position、payload信息、偏移信息offset&＃xff0c;会先被存放到倒排表中&＃xff0c;随后在flush()阶段&＃xff0c;读取倒排表的信息&＃xff0c;将这些信息写入到索引文件.tim、.tip、.doc、.pos、.pay中。

生成索引文件.tim、.tip、.doc、.pos、.pay的流程图

图2&＃xff1a;

写入索引文件的顺序

图3&＃xff1a;

在文章倒排表中我们知道&＃xff0c;倒排表中的内容按照域进行划分&＃xff0c;域之间可能存在相同的term&＃xff0c;但是一个域内term是唯一的&＃xff0c;故其写入索引文件的顺序如图3所示&＃xff0c; 域间(between filed)根据域名(field name)的字典序处理&＃xff0c;域内(inner field)按照term的字典序进行处理。

生成索引文件.doc、.pos、.pay

图4&＃xff1a;

我们先介绍在一个域内&＃xff0c;生成索引文件.doc、.pos、.pay的逻辑。

生成索引文件.doc、.pos、.pay的流程图

图5&＃xff1a;

点击查看大图

图5描述的是同一个域内处理一个term&＃xff0c;生成索引文件.doc、.pos、.pay的过程。执行处理前的初始化的工作

图6&＃xff1a;

依次处理当前域中所有的term&＃xff0c;并且是按照term的字典序处理。

为什么要按照term的字典序处理&＃xff1a;在后面介绍生成索引文件.tim、tip时&＃xff0c;需要存储term的值&＃xff0c;而相邻有序的term更有可能具有相同的前缀值&＃xff0c;那么通过前缀存储(见索引文件之tim&&tip)就可以节省存储空间。

在处理一个term前&＃xff0c;我们先要执行处理前的初始化的工作&＃xff0c;工作内容为获取上一个term后处理结束后的信息&＃xff0c;包括以下信息&＃xff1a;docStartFP&＃xff1a;当前term在索引文件.doc中的起始位置&＃xff0c;在后面的流程中&＃xff0c;当前term的文档号docId、词频frequency信息将从这个位置写入&＃xff0c;因为索引文件是以数据流的方式存储&＃xff0c;所以docStartFP也是上一个term对应的信息在索引文件.doc中的最后位置&＃43;1

posStartFP&＃xff1a;当前term在索引文件.pos中的起始位置&＃xff0c;在后面的流程中&＃xff0c;当前term的位置position信息从这个位置写入&＃xff0c;因为索引文件是以数据流的方式存储&＃xff0c;所以posStartFP也是上一个term对应的信息在索引文件.pos中的最后位置&＃43;1

payStartFP&＃xff1a;当前term在索引文件.pay中的起始位置&＃xff0c;在后面的流程中&＃xff0c;当前term的偏移offset、payload信息从这个位置写入&＃xff0c;因为索引文件是以数据流的方式存储&＃xff0c;所以payStartFP也是上一个term对应的信息在索引文件.pay中的最后位置&＃43;1

重置跳表信息&＃xff1a;该信息在后面介绍跳表时再展开介绍

图7&＃xff1a;

图7中&＃xff0c;如果当前开始处理第二个term&＃xff0c;那么此时docStartFP(docStart File Pointer缩写)、posStartFP、payStartFP如上所示&＃xff0c;这几个信息将会被写入到索引文件.tim、.tip中&＃xff0c;本文中我们只需要知道生成的时机点&＃xff0c;这些信息的作用将在后面的文章中介绍。是否还有文档包含当前term&＃xff1f;

图8&＃xff1a;

按照文档号从小到大&＃xff0c;依次处理当前term在一篇文档中的信息&＃xff0c;这些文档中都包含当前term。记录当前文档号到docSeen

图9&＃xff1a;

使用FixedBitSet对象docSeen来记录当前的文档号&＃xff0c;docSeen在生成索引文件.tim、tip时会用到&＃xff0c;这里我们只要知道它生成的时间点就行。记录term所有文档中的词频totalTermFreq

图10&＃xff1a;

这里说的所有文档指的是包含当前term的文档&＃xff0c;一篇文档中可能包含多个当前term&＃xff0c;那么每处理一篇包含当前term的文档&＃xff0c;term在这篇文档中出现的次数增量到totalTermFreq&＃xff0c;totalTermFreq中存储了term在所有文档中出现的次数&＃xff0c;同样增量统计docFreq&＃xff0c;它描述了包含当前term的文档数量。

totalTermFreq、docFreq将会被存储到索引文件.tim、tip中&＃xff0c;在搜索阶段&＃xff0c;totalTermFreq、docFreq该值用来参与打分计算(见系列文章查询原理)。是否生成了PackedBlock?

图11&＃xff1a;

每当处理128篇包含当前term的文档&＃xff0c;就需要将term在这些文档中的信息&＃xff0c;即文档号docId跟词频frequency&＃xff0c;使用PackeInts进行压缩存储&＃xff0c;生成一个PackedBlock。

图12&＃xff1a;

图12中&＃xff0c;红框标注的即PackedBlock&＃xff0c;关于PackedBlock的介绍以及几个问题在后面的流程中会介绍&＃xff0c;这里先抛出这几个问题&＃xff1a;为什么要生成PackedBlock

为什么选择128作为生成PackedBlock的阈值写入到跳表skipList中

图13&＃xff1a;

如果生成了一个PackedBlock&＃xff0c;那么需要生成跳表&＃xff0c;使得能在读取阶段能快速跳转到指定的PackedBlock&＃xff0c;跳表skipList的介绍将在后面的文章中详细介绍&＃xff0c;这里只要知道生成的时机点即可。记录文档号跟词频信息

图14&＃xff1a;

将文档号跟term在当前文档中的词频frequency分别记录到两个数组docDeltaBuffer、freqBuffer中&＃xff0c;注意的是由于文档号是按照从小到大的顺序处理的&＃xff0c;所以docDeltaBuffer数组存放的是与上一个文档号的差值&＃xff0c;但是term在每个文档中的词频frequency是无序的&＃xff0c;所以无法使用差值存储词频frequency&＃xff0c;故在freqBuffer数组中&＃xff0c;数组元素是原始的词频值。

为什么使用差值存储&＃xff1a;

能降低存储空间的使用量&＃xff0c;如果我们有下面的待处理的文档号集合&＃xff0c;数组中按照文档号从小到大有序&＃xff1a;int[] docIds &＃61; {1, 3, 7, 10, 12, 13, 17}

如果我们使用固定字节存储(见PackedInts(一))&＃xff0c;那么根据17(数组中的最大值)的二进制为00010001&＃xff0c;最少可以使用5个bit位(有效数据位)才能描述17&＃xff0c;那么数组的其他元素都是用5个bit位存储的话&＃xff0c;一共7个数组元素&＃xff0c;共需要5*7 &＃61; 35个bit&＃xff0c;如果使用差值存储(当前数组元素与前一个数组元素的差值)&＃xff0c;在计算了差值后&＃xff0c;数组docIds如下所示&＃xff1a;xxxxxxxxxx

int[] docIds &＃61; {1, 2, 4, 3, 2, 1, 4}

docIds数组中最大值为4&＃xff0c;二进制位00000100&＃xff0c;那么所有数组元素使用3个bit位存储&＃xff0c;共需要3*7 &＃61; 21个bit&＃xff0c;可见能有效的降低存储空间。生成Block

图15&＃xff1a;

当数组docDeltaBuffer中的数组元素个数达到128个以后&＃xff0c;意味着已经处理了128篇文档&＃xff0c;此时需要生成Block&＃xff0c;即将数组docDeltaBuffer、freqBuffer中的数据经过PackeInts处理后生成一个PackedBlock&＃xff0c;如下所示&＃xff1a;

图16&＃xff1a;

结语

基于篇幅&＃xff0c;剩余的流程将在下一篇文档中展开。

点击下载附件