ElasticSearch学习笔记(五)相关性

2019独角兽企业重金招聘Python工程师标准>>>

Elasticsearch 的相似度算法被定义为检索词频率/反向文档频率&＃xff0c; TF/IDF &＃xff0c;包括以下内容&＃xff1a;

检索词频率

检索词在该字段出现的频率&＃xff1f;出现频率越高&＃xff0c;相关性也越高。字段中出现过 5 次要比只出现过 1 次的相关性高。
反向文档频率

每个检索词在索引中出现的频率&＃xff1f;频率越高&＃xff0c;相关性越低。检索词出现在多数文档中会比出现在少数文档中的权重更低。
字段长度准则

字段的长度是多少&＃xff1f;长度越长&＃xff0c;相关性越低。检索词出现在一个短的 title 要比同样的词出现在一个长的 content 字段权重更大。

&＃43;&＃43;词频率和文档频率是在每个分片中计算出来的&＃xff0c;而不是每个索引中&＃43;&＃43;。可以在查询中将explain设为true&＃xff0c;可以得到详细的评分过程。此操作是十分昂贵的&＃xff0c;它只能用作调试工具。千万不要用于生产环境。

GET /employee/doc/_search?format&＃61;yaml {"explain": true,... }

Elasticsearch 中的 &＃61;&＃61;Doc Values&＃61;&＃61; 常被应用到以下场景&＃xff1a;

对一个字段进行排序
对一个字段进行聚合
某些过滤&＃xff0c;比如地理位置过滤
某些与字段相关的脚本计算

排序发生在索引时建立的平行数据结构中。

组合查询对相关性影响

在一个查询中使用组合查询&＃xff08;如bool&＃xff09;&＃xff0c;它除了决定一个文档是否应该被包括在结果中&＃xff0c;还会计算文档的相关程度。

GET /my_index/my_type/_search {"query": {"bool": {"must": { "match": { "title": "quick" }},"must_not": { "match": { "title": "lazy" }},"should": [{ "match": { "title": "brown" }},{ "match": { "title": "dog" }}]}} }

两个should语句&＃xff0c;一个文档不必包含 brown 或 dog这两个词项&＃xff0c;但如果一旦包含&＃xff0c;我们就认为它们更相关。

bool 查询会为每个文档计算相关度评分 _score &＃xff0c; 再将所有匹配的 must 和 should 语句的分数 _score 求和&＃xff0c;最后除以 must 和 should 语句的总数。

must_not 语句不会影响评分&＃xff1b; 它的作用只是将不相关的文档排除。

所有 must 语句必须匹配&＃xff0c;所有 must_not 语句都必须不匹配&＃xff0c;但有多少 should 语句应该匹配呢&＃xff1f; 默认情况下&＃xff0c;没有 should 语句是必须匹配的&＃xff0c;只有一个例外&＃xff1a;那就是当没有 must 语句的时候&＃xff0c;至少有一个 should 语句必须匹配。

通过指定 boost 来控制任何查询语句的相对的权重&＃xff0c; boost 的默认值为 1 &＃xff0c;大于 1 会提升一个语句的相对权重。

可以通过指定 boost 来控制任何查询语句的相对的权重&＃xff0c; boost 的默认值为 1 &＃xff0c;大于 1 会提升一个语句的相对权重。但是这种提升或降低并不是线性的&＃xff0c;换句话说&＃xff0c;如果一个 boost 值为 2 &＃xff0c;并不能获得两倍的评分 _score 。

boost 值比较合理的区间处于 1 到 10 之间&＃xff0c;当然也有可能是 15 。如果为 boost 指定比这更高的值&＃xff0c;将不会对最终的评分结果产生更大影响&＃xff0c;因为评分是被归一化的&＃xff08;normalized&＃xff09; 。

GET /_search {"query": {"bool": {"must": {"match": { "content": {"query": "full text search","operator": "and"}}},"should": [{ "match": {"content": {"query": "Elasticsearch","boost": 3 }}},{ "match": {"content": {"query": "Lucene","boost": 2 }}}]}} }

不同层级对评分的影响

GET /_search {"query": {"bool": {"should": [{ "match": { "title": "War and Peace" }},{ "match": { "author": "Leo Tolstoy" }},{ "bool": {"should": [{ "match": { "translator": "Constance Garnett" }},{ "match": { "translator": "Louise Maude" }}]}}]}} }

bool 查询运行每个 match 查询&＃xff0c;再把评分加在一起&＃xff0c;然后将结果与所有匹配的语句数量相乘&＃xff0c;最后除以所有的语句数量。处于同一层的每条语句具有相同的权重。在前面这个例子中&＃xff0c;包含 translator 语句的 bool 查询&＃xff0c;只占总评分的三分之一。如果将 translator 语句与 title 和 author 两条语句放入同一层&＃xff0c;那么 title 和 author 语句只贡献四分之一评分。

dis_max查询

分离最大化查询&＃xff08;Disjunction Max Query&＃xff09;指的是&＃xff1a; 将任何与任一查询匹配的文档作为结果返回&＃xff0c;但只将最佳匹配的评分作为查询的评分结果返回。

tie_breaker参数

{"query": {"dis_max": {"queries": [{ "match": { "title": "Quick pets" }},{ "match": { "body": "Quick pets" }}],"tie_breaker": 0.3}} }

tie_breaker 参数提供了一种 dis_max 和 bool 之间的折中选择&＃xff0c;它的评分方式如下&＃xff1a;

获得最佳匹配语句的评分 _score 。
将其他匹配语句的评分结果与 tie_breaker 相乘。
对以上评分求和并规范化。

tie_breaker 可以是 0 到 1 之间的浮点数&＃xff0c;其中 0 代表使用 dis_max 最佳匹配语句的普通逻辑&＃xff0c; 1 表示所有匹配语句同等重要。最佳的精确值需要根据数据与查询调试得出&＃xff0c;但是合理值应该与零接近&＃xff08;处于 0.1 - 0.4 之间&＃xff09;&＃xff0c;这样就不会颠覆 dis_max 最佳匹配性质的根本。