Lucene搜索引擎

https://www.zhangweijiang.com/article/214.html 这文章真的可

From&＃43; size&＃xff1a;需要随机跳转不同分页&＃xff08;类似主流搜索引擎&＃xff09;、Top 10000 条数据之内分页显示场景。
search_after&＃xff1a;仅需要向后翻页的场景及超过Top 10000 数据需要分页场景。
Scroll&＃xff1a;需要遍历全量数据场景 。
max_result_window&＃xff1a;调大治标不治本&＃xff0c;不建议调过大。
PIT&＃xff1a;本质是视图。

https://www.elastic.co/guide/cn/elasticsearch/guide/current/pagination.html#pagination

在分布式系统中深度分页

理解为什么深度分页是有问题的&＃xff0c;我们可以假设在一个有 5 个主分片的索引中搜索。 当我们请求结果的第一页&＃xff08;结果从 1 到 10 &＃xff09;&＃xff0c;每一个分片产生前 10 的结果&＃xff0c;并且返回给 协调节点 &＃xff0c;协调节点对 50 个结果排序得到全部结果的前 10 个。

分布式系统经典问题深度分页

es 默认采用的分页方式是 from&＃43; size 的形式&＃xff0c;在深度分页的情况下&＃xff0c;这种使用方式效率是非常低的。比如from &＃61; 5000, size&＃61;10&＃xff0c; es 需要在各个分片上匹配排序并得到5000*10条有效数据&＃xff0c;然后在结果集中取最后10条数据返回。

除了效率上的问题&＃xff0c;还有一个无法解决的问题是&＃xff0c;es 目前支持最大的 skip 值是 max_result_window &＃xff0c;默认为 10000 。
也就是当 from &＃43; size > max_result_window 时&＃xff0c;es 将返回错误

“type” : “illegal_argument_exception”,
“reason” : "Result window is too large, from &＃43; size must be less than or equal to: [10000] but was [10010]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level setting.

为什么要这样子呢&＃xff1f;为什么不能直接定位到呢&＃xff1f;

现在假设我们请求第 1000 页—​结果从 10001 到 10010 。所有都以相同的方式工作除了每个分片不得不产生前10010个结果以外。 然后协调节点对全部 50050 个结果排序最后丢弃掉这些结果中的 50040 个结果。

可以看到&＃xff0c;在分布式系统中&＃xff0c;对结果排序的成本随分页的深度成指数上升。这就是 web 搜索引擎对任何查询都不要返回超过 1000 个结果的原因。

lucene搜索原理就是图中所说。。。。

字符过滤器
首先&＃xff0c;字符串按顺序通过每个 字符过滤器 。他们的任务是在分词前整理字符串。一个字符过滤器可以用来去掉HTML&＃xff0c;或者将 & 转化成 and。

分词器
其次&＃xff0c;字符串被 分词器 分为单个的词条。一个简单的分词器遇到空格和标点的时候&＃xff0c;可能会将文本拆分成词条。

Token 过滤器
最后&＃xff0c;词条按顺序通过每个 token 过滤器 。这个过程可能会改变词条&＃xff08;例如&＃xff0c;小写化 Quick &＃xff09;&＃xff0c;删除词条&＃xff08;例如&＃xff0c; 像 a&＃xff0c; and&＃xff0c; the 等无用词&＃xff09;&＃xff0c;或者增加词条&＃xff08;例如&＃xff0c;像 jump 和 leap 这种同义词&＃xff09;。