《深入理解Elasticsearch（原书第2版）》——第2章查询DSL进阶2.1ApacheLucene默认评分公式解释...

本节书摘来自华章计算机《深入理解Elasticsearch&＃xff08;原书第2版&＃xff09;》一书中的第2章&＃xff0c;第2.1节&＃xff0c;作者 [美]拉斐尔·酷奇&＃xff08;Rafal Ku&＃xff09;马雷克·罗戈任斯基&＃xff08;Marek Rogoziski&＃xff09;&＃xff0c;张世武 余洪淼 商旦 译&＃xff0c;更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第2章

查询DSL进阶

在上一章&＃xff0c;我们了解了什么是Apache Lucene&＃xff0c;它的整体架构&＃xff0c;以及文本分析过程是如何完成的。之后&＃xff0c;我们还介绍了Lucene的查询语言及其用法。除此之外&＃xff0c;我们也讨论了Elasticsearch&＃xff0c;讨论了它的架构&＃xff0c;以及一些核心概念。在本章&＃xff0c;我们将深入研究Elasticsearch的查询DSL&＃xff08;Domain Specific Language&＃xff09;。在了解那些高级查询之前&＃xff0c;我们将先了解Lucene评分公式的工作原理。到本章结束&＃xff0c;将涵盖以下内容&＃xff1a;

• Lucene默认评分公式是如何工作的
• 什么是查询重写
• 什么是查询模板以及如何使用查询模板
• 如何优化复杂的Boolean查询
• 复杂Boolean查询的性能奥秘
• 如何为特定场景选择合适的查询类型

2.1　Apache Lucene默认评分公式解释

评分是Apache Lucene查询处理过程的一个重要环节。评分是指针对给定查询计算某个文档的score属性的过程。什么是文档得分&＃xff1f;它是一个刻画文档与查询匹配程度的参数。在本节&＃xff0c;我们将了解Apache Lucene的默认评分机制&＃xff1a;TF/IDF&＃xff08;词频/逆文档频率&＃xff09;算法以及它是如何影响文档查询结果的。了解评分公式的工作原理对构造复杂查询以及分析查询中因子的重要性都是很有价值的。同时&＃xff0c;掌握Lucene评分机制的基础知识有助于我们更好地优化查询来获取符合我们使用场景的结果。

2.1.1　何时文档被匹配上

一个文档被Lucene返回&＃xff0c;意味着该文档与用户提交的查询是匹配的。在这种情况下&＃xff0c;每个被返回文档会有一个得分。在某些场景下&＃xff0c;所有文档的得分都一样&＃xff08;比如使用constant_score查询&＃xff09;&＃xff0c;不过一般情况下&＃xff0c;各个文档的得分是不一样的。得分越高&＃xff0c;文档更相关&＃xff0c;至少从Apache Lucene及其评分公式的角度来看是这样的。得分还取决于匹配的文档、查询和索引内容&＃xff0c;因此&＃xff0c;很显然同一个文档对不同查询的得分是不同的。读者需要注意&＃xff0c;同一文档在不同查询中的得分不具备可比较性&＃xff0c;不同查询返回文档中的最高得分也不具备可比较性。这是因为文档得分依赖多个因子&＃xff0c;除了权重和查询本身的结构&＃xff0c;还依赖被匹配的词项数目、词项所在字段&＃xff0c;以及用于查询规范化的匹配类型&＃xff0c;如此等等。在一些比较极端的情况下&＃xff0c;同一个文档在相似查询中的得分非常悬殊&＃xff0c;仅仅是因为使用了自定义得分查询或者命中词项数的急剧变化。

现在&＃xff0c;让我们再回到评分过程。为了计算文档得分&＃xff0c;我们需要考虑以下这些因子。

• 文档权重&＃xff08;document boost&＃xff09;&＃xff1a;索引期赋予某个文档的权重值。
• 字段权重&＃xff08;field boost&＃xff09;&＃xff1a;查询期赋予某个字段的权重值。
• 协调因子&＃xff08;coord&＃xff09;&＃xff1a;基于文档中词项个数的协调因子&＃xff0c;一个文档命中了查询中的词项越多&＃xff0c;得分越高。
• 逆文档频率&＃xff08;inverse document frequency&＃xff09;&＃xff1a;一个基于词项的因子&＃xff0c;用来告诉评分公式该词项有多么罕见。逆文档频率越高&＃xff0c;词项就越罕见。评分公式利用该因子&＃xff0c;为包含罕见词项的文档加权。
• 长度范数&＃xff08;Length norm&＃xff09;&＃xff1a;每字段的基于词项个数的归一化因子&＃xff08;在索引期被计算并存储在索引中&＃xff09;。一个字段包含的词项数越多&＃xff0c;该因子的权重越低&＃xff0c;这意味着Apache Lucene评分公式更“喜欢”包含更少词项的字段。
• 词频&＃xff08;Term frequency&＃xff09;&＃xff1a;一个基于词项的因子&＃xff0c;用来表示一个词项在某个文档中出现了多少次。词频越高&＃xff0c;文档得分越高。
• 查询范数(Query norm)&＃xff1a;一个基于查询的归一化因子&＃xff0c;它等于查询中词项的权重平方和。查询范数使不同查询的得分能互相比较&＃xff0c;尽管这种比较通常是困难和不可行的。

2.1.2　TF/IDF评分公式

从Lucene 4.0版本起&＃xff0c;Lucene引入了多种不同的打分公式&＃xff0c;这一点或许你已经有所了解了。不过&＃xff0c;我们还是希望在此探索一下默认的TF/IDF打分公式的一些细节。请记住&＃xff0c;为了调节查询相关性&＃xff0c;你并不需要深入理解这个公式的来龙去脉&＃xff0c;但是了解它的工作原理却非常重要&＃xff0c;因为这有助于简化相关度调优过程。

1. Lucene的理论评分公式

TF/IDF公式的理论形式如下&＃xff1a;

上面的公式融合了布尔检索模型和向量空间检索模型。我们不打算在此讨论理论评分公式&＃xff0c;而是直接跳到实践中使用的评分公式&＃xff0c;看看Lucene内部是如何实现和使用评分公式的。

　关于布尔检索模型和向量空间检索模型的知识远远超出了本书的讨论范围&＃xff0c;想了解更多相关知识&＃xff0c;请参考http://en.wikipedia.org/wiki/Standard_Boolean_model 和http://en.wikipedia.org/ wiki/Vector_Space_Model。

2. Lucene的实际评分公式

现在让我们看看Lucene实际使用的评分公式&＃xff1a;

也许你已经看到了&＃xff0c;评分公式是一个关于查询q和文档d的函数&＃xff0c;正如我们之前提到的一样。有两个因子并不直接依赖查询词项&＃xff0c;它们是coord和queryNorm&＃xff0c;这两个因子与查询词项的一个求和公式相乘。

求和公式中每个加数由以下因子连乘所得&＃xff1a;词频&＃xff0c;逆文档频率&＃xff0c;词项权重&＃xff0c;范数。范数就是之前我们提到过的长度范数。

这个公式听起来很复杂。请别担心&＃xff0c;你并不用记住所有的细节&＃xff0c;你只需要意识到哪些因素是与评分有关的即可。从前面的公式我们可以导出一些基本的规则&＃xff1a;

• 越罕见的词项被匹配上&＃xff0c;文档得分越高。Lucene认为包含独特单词的文档比包含常见单词的文档更重要。
• 文档字段越短&＃xff08;包含更少的词项&＃xff09;&＃xff0c;文档得分越高。通常&＃xff0c;Lucene更加重视较短的文档&＃xff0c;因为这些短文档更有可能和我们查询的主题高度吻合。
• 权重越高&＃xff08;不论是索引期或是查询期赋予的权重值&＃xff09;&＃xff0c;文档得分越高。因为更高的权重意味着特定数据&＃xff08;文档、词项、短语等&＃xff09;具有更高的重要性。

正如你所见&＃xff0c;Lucene将最高得分赋予同时满足以下条件的文档&＃xff1a;包含多个罕见查询词项&＃xff0c;词项所在字段较短&＃xff08;该字段索引了较少的词项&＃xff09;。该公式更“喜欢”包含罕见词项的文档。

　如果你想了解更多关于Apache Lucene TF/IDF评分公式的信息&＃xff0c;请参考Apache lucene 中TFIDFSimilarity类的文档&＃xff1a;http://lucene.apache.org/core/4_9_0/core/org/ apache/lucene/search/similarities/TFIDFSimilarity.html.

2.1.3　Elasticsearch如何看评分

总而言之&＃xff0c;Elasticsearch使用了Lucene的评分功能&＃xff0c;幸运的是Elasticsearch允许我们挑选可用的similarity类实现&＃xff0c;或者自定义similarity类&＃xff0c;来替换默认的评分算法。不过请记住&＃xff0c;Elasticsearch不仅仅是Lucene的简单封装&＃xff0c;因为它虽然使用了Lucene的评分功能&＃xff0c;但不仅限于Lucene的评分功能。

用户可以使用各种不同的查询类型&＃xff0c;以精确控制文档评分的计算。例如使用function_score查询时,可以通过使用脚本(scripting)来改变文档得分&＃xff0c;也可以使用Elasticsearch 0.90中出现的二次评分功能&＃xff0c;通过在返回文档集之上执行另外一个查询&＃xff0c;重新计算top-N文档的得分。

　想了解更多Apache Lucene查询类型&＃xff0c;请参考http://lucene.apache.org/core/4_9_0/queries/org/apache/lucene/queries/package-summary.html 上的相关文档。

2.1.4　一个例子

现在&＃xff0c;我们已经了解评分的工作原理。接下来我们看一个在现实生活中应用评分的简单例子。首先我们需要创建一个名为scoring的新索引。使用如下命令创建这个索引&＃xff1a;

简单起见&＃xff0c;我们使用了只有一个物理分片和0个副本的索引&＃xff08;我们不需要在这个例子中关心分布式文档频率&＃xff09;。我们需要索引一个简单的文档&＃xff0c;代码如下&＃xff1a;

接着我们执行一个简单的匹配&＃xff08;match&＃xff09;查询&＃xff0c;查询的词项是“document”。

Elasticsearch返回的结果如下&＃xff1a;

显然&＃xff0c;刚才索引的这个文档被匹配上了&＃xff0c;并且被赋予了得分。我们可以通过下面这条命令来查看得分的计算过程&＃xff1a;

Elasticsearch返回的结果如下&＃xff1a;

可以看出&＃xff0c;Elasticsearch给出了针对给定文档和查询的详细的得分计算过程。同时可以看出&＃xff0c;得分等于词项频率&＃xff08;本例中是1&＃xff09;和逆文档频率&＃xff08;0.30685282&＃xff09;以及字段范数&＃xff08;0.625&＃xff09;的乘积。

现在&＃xff0c;我们再把另一个文档加入索引。

此时&＃xff0c;如果执行最开始的查询&＃xff0c;我们将看到如下响应&＃xff1a;

现在&＃xff0c;可以对比一下TF/IDF评分公式在现实场景中的工作了。在把第2个文档索引到相同分片后&＃xff08;请记住我们创建的索引只有一个分片且没有副本&＃xff09;&＃xff0c;得分发生了变化&＃xff0c;尽管此时的查询和刚才的一样。这是因为一些影响得分的因子已经改变了。比如&＃xff0c;逆文档频率变了&＃xff0c;因此得分也会跟着改变。我们还需要注意对比一下两个文档的得分。我们查询了一个单词“document”&＃xff0c;查询匹配上了两个文档的相同字段的相同词项。第2个文档的得分为什么较低&＃xff0c;是因为和第1个文档相比&＃xff0c;它的name字段多了一个词项。根据先前的知识储备&＃xff0c;我们知道&＃xff0c;文档越短&＃xff0c;Lucene给出的得分越高。

希望这个简短的介绍会让你对评分工作机制认识得更清楚&＃xff0c;在你需要优化查询时理解目标查询的工作过程。