Lucene查询TopN的优化（一）

在索引阶段&＃xff0c;我们可以在每一篇文档中添加一条或多条DocValues信息&＃xff08;正排&＃xff09;&＃xff0c;使得在查询阶段&＃xff0c;当收集器Collector收集到满足查询条件的文档号后&＃xff0c;可以根据文档号找到对应的正排信息&＃xff0c;并依据正排信息对查询结果进行排序。

图1&＃xff1a;

  图1中添加了3篇文档&＃xff0c;红框标注即正排信息&＃xff0c;我们在查询条件中设置一个排序规则&＃xff1a;

图2&＃xff1a;

  在图2的排序规则下&＃xff0c;返回的结果为&＃xff1a;

图3&＃xff1a;

查询TopN的性能&＃xff08;优化前&＃xff09;

  基于目前Lucene的查询模块设计&＃xff0c;整个查询过程可以按照获取迭代器和收集器处理文档的这两个大的功能块进行划分。

获取迭代器

  获取迭代器描述的是从倒排信息中或者存储数值类型的BKD树中找到满足查询条件的文档号集合&＃xff0c;该集合用于生一个迭代器。随后迭代器会按照文档号从小到大的顺序&＃xff08;在设置了段的排序IndexSort后&＃xff0c;顺序可能会发生变化&＃xff0c;见文章Collector&＃xff08;三&＃xff09;中的预备知识的介绍&＃xff09;依次取出每一个文档号&＃xff0c;并将文档号送到收集器Collector中。

收集器处理文档

  收集器Collector会从迭代器中依次的获得有序的文档号&＃xff0c;执行排序、过滤等操作。

问题

  上文介绍的查询模块设计会存在这个问题&＃xff08;为了便于介绍&＃xff0c;我们暂时不考虑设置了段排序的情况&＃xff09;&＃xff1a;假设我们有10000篇文档号&＃xff0c;排序方式为按照正排值升序&＃xff0c;并且文档0中的正排值为0&＃xff0c;文档1中的正排值为1&＃xff0c;剩余的9998篇文档的正排值都大于1。如果我们只要Top2的结果&＃xff0c;那么很明显&＃xff0c;最好的期望的处理方式应该是收集器Collector在处理完文档0跟文档1后就不再处理剩余的其他文档了。然而在优化之前&＃xff0c;由于依次传入到收集器Collector的文档号是从小到大是有序的&＃xff0c;但是文档号对应的正排值是无法保证有序的&＃xff0c;意味着收集器Collector只有处理完所有的文档号才能实现正确的Top2。在文章Collector&＃xff08;三&＃xff09;中详细介绍了优化前利用NumericDocValues获取TopN的过程&＃xff0c;可以先行阅读下。

查询TopN的性能&＃xff08;优化后&＃xff09;

  在Lucene8.6.0后&＃xff0c;当使用NumericDocValues实现TopN的查询时&＃xff0c;可以跳过那些没有竞争力&＃xff08;uncompetitive&＃xff09;的文档集合&＃xff0c;快速实现TopN的查询。我们先给出一个例子&＃xff0c;比较下优化前后的性能差别&＃xff0c;demo的地址&＃xff1a;https://github.com/LuXugang/Lucene-7.5.0/blob/master/LuceneDemo8.9.0/src/main/java/index/NumericDocValuesTopNOptimization.java。

剩余内容看这里&＃xff1a;https://www.amazingkoala.com.cn/Lucene/Search/2021/0621/193.html