lucene增加相关性_事务性Lucene

lucene 增加相关性

许多用户不喜欢Lucene API的事务性语义&＃xff0c;以及这在搜索应用程序中如何有用。 首先&＃xff0c;Lucene实现了ACID属性&＃xff1a;

• 一个 tomicity&＃xff1a;当您在更改&＃xff08;添加&＃xff0c;删除文件&＃xff09; IndexWriter会话&＃xff0c;然后提交&＃xff0c;要么全部&＃xff08;如果提交成功&＃xff09;或无的更改&＃xff08;如果提交失败&＃xff09;将是可见的&＃xff0c;从来没有的东西在两者之间。 某些方法具有其自己的原子行为&＃xff1a;如果调用updateDocument &＃xff0c;该方法实现为删除操作&＃xff0c;然后执行添加操作&＃xff0c;即使打开近实时&＃xff08;NRT&＃xff09;阅读器或从单独的线程提交。 同样&＃xff0c;如果使用相对较新的 addDocuments方法添加文档块&＃xff0c;则在获得的任何阅读器中都不会看到任何文档或全部文档。
• Çonsistency&＃xff1a;如果计算机或操作系统崩溃&＃xff0c;或JVM崩溃或被杀&＃xff0c;或断电&＃xff0c;你的指数将保持不变&＃xff08;即&＃xff0c;未破坏&＃xff09;。 请注意&＃xff0c;其他问题&＃xff08;例如RAM损坏&＃xff0c;CPU翻转或文件系统损坏&＃xff09;仍然很容易损坏索引&＃xff01;
• 我这样想 &＃xff1a;在IndexWriter进行更改时&＃xff0c;任何对搜索索引的IndexReader都不可见&＃xff0c;直到您提交或打开新的NRT阅读器。 一次仅一个IndexWriter实例可以更改索引。
• d urability&＃xff1a;一旦commit的回报&＃xff0c;所有的改变都被写入持久性存储器&＃xff08;假设你的I / O系统正确实现fsync &＃xff09;。 如果计算机或操作系统崩溃&＃xff0c;或者JVM崩溃或被杀死&＃xff0c;或者计算机断电&＃xff0c;则所有更改仍将存在于索引中。

Lucene提供了两阶段的提交 API&＃xff1a;调用prepareCommit方法来完成所有艰苦的工作&＃xff08;应用缓冲的删除&＃xff0c;编写缓冲的文档&＃xff0c;fsync文件&＃xff09;。 如果出现问题&＃xff08;例如磁盘已满&＃xff09;&＃xff0c;几乎肯定会在第一阶段发生。 然后&＃xff0c;调用commit完成事务。

当您关闭IndexWriter &＃xff0c;它commit在IndexWriter调用commit 。 相反&＃xff0c;如果您想放弃自上一次提交以来的所有更改&＃xff0c;请改为调用rollback方法&＃xff0c;该方法也将关闭编写器。 您甚至可以回滚CREATE &＃xff1a;如果您已有索引&＃xff0c;并使用OpenMode.CREATE在其上打开IndexWriter &＃xff0c;然后回滚&＃xff0c;则索引将保持不变。 同样&＃xff0c;如果调用deleteAll然后回滚。

注意&＃xff0c;仅在新目录上打开IndexWriter并不会创建空提交。 也就是说&＃xff0c;您必须先调用commit才能在目录上打开IndexReader 。

Lucene本身并没有实现事务日志 &＃xff0c;但是很容易在顶层构建该层。 例如&＃xff0c;流行的搜索服务器&＃xff08;例如Solr和ElasticSearch &＃xff09;就是这样做的。

在一个索引中多次提交

一个Lucene索引可以自由包含多个提交&＃xff1b; 这是一个功能强大但经常被忽略的功能。 每个提交都拥有创建提交时所存在的索引的时间点视图。

这类似于ZFS和即将出现的Btrfs等现代文件系统中可用的快照和可写克隆。 实际上&＃xff0c;Lucene能够基于相同的根本原因有效地公开多个提交&＃xff1a;所有索引段和文件都是一次写入的&＃xff0c;就像ZFS和Btrfs中的文件块一样。

要在索引中保存多个提交&＃xff0c;只需实现自己的IndexDeletionPolicy并将其传递给IndexWriter 。 这是Lucene用来了解应删除哪些提交的类&＃xff1a; IndexWriter在打开索引时以及每次提交成功时都会调用它。 默认策略KeepOnlyLastCommitDeletionPolicy删除除最后一次提交以外的所有内容。 如果您使用NoDeletionPolicy则将保留每个提交&＃xff01;

您可以将userData &＃xff08; Map &＃xff09;传递给commit &＃xff0c;以记录有关该提交的自定义信息&＃xff08;对Lucene不透明&＃xff09;&＃xff0c;然后使用IndexReader.listCommits在索引中查找所有提交。 找到提交后&＃xff0c;您可以在其上打开IndexReader来搜索该提交时的索引。

您还可以在先前的提交上打开IndexWriter &＃xff0c;以有效地回滚之后的所有更改&＃xff1a;这与rollback方法类似&＃xff0c;不同之处在于&＃xff0c;它使您可以跨提交进行回滚&＃xff0c;而不仅仅是在当前IndexWriter会话中进行的更改。

即使使用OpenMode.CREATE打开索引&＃xff0c;旧提交仍将保留。 当IndexReader仍在搜索旧提交时&＃xff0c;传递OpenMode.CREATE也可以。 这可以实现有趣的用例&＃xff0c;例如在每次提交之间完全重新索引您的内容&＃xff0c;而不会影响任何开放的读者。

结合所有这些有趣的事务功能&＃xff0c;您可以做一些很酷的事情&＃xff1a;

• 使用SnapshotDeletionPolicy或PersistentSnapshotDeletionPolicy 热备份 &＃xff1a;这些删除策略使“实时”备份索引变得很简单&＃xff0c;而不会阻止使用IndexWriter进行的更改。 备份可以很容易地进行增量备份&＃xff08;只需复制新文件&＃xff0c;删除已删除的文件&＃xff09;&＃xff0c;就可以自由限制IO以最大程度地减少对搜索的干扰。
• 搜索不同的目录版本&＃xff1a;也许您运行了一个电子商务网站&＃xff0c;但是却发布了多个版本的目录。 在这种情况下&＃xff0c;您可以保留较旧的提交&＃xff0c;每次提交都搜索目录的特定版本&＃xff0c;从而使用户可以选择要搜索的目录。
• 来自相同初始索引的可重复索引测试&＃xff1a;也许您想运行一堆性能测试&＃xff0c;也许从一个大的初始索引开始尝试不同的RAM缓冲区大小或合并因子。 为此&＃xff0c;只需运行每个测试&＃xff0c;但是最后&＃xff0c;不要关闭IndexWriter &＃xff0c;而使用rollback方法将索引快速返回其初始状态&＃xff0c;以准备进行下一个测试。
• 强制将所有索引段合并到单个段&＃xff0c;但同时保留先前的多段提交。 然后&＃xff0c;您可以进行测试以比较多段性能与单段性能。
• 索引和搜索NFS文件系统 &＃xff1a;因为NFS不能保护仍处于打开状态的文件不被删除&＃xff0c;所以必须使用IndexDeletionPolicy保留每个提交&＃xff0c;直到所有打开的阅读器都完成了提交&＃xff08;即&＃xff0c;重新打开为新的提交&＃xff09;。 简单的方法是基于时间的&＃xff0c;例如&＃xff1a;不要删除提交&＃xff0c;直到提交时间为15分钟&＃xff0c;然后始终每5分钟重新打开阅读器一次。 没有这个&＃xff0c;在NFS上搜索时&＃xff0c;您将遇到各种可怕的异常。
• 分布式提交&＃xff1a;如果您还有其他资源必须随原子对Lucene索引的更改一起提交&＃xff0c;则可以使用两阶段提交API。 这很简单&＃xff0c;但是很容易在第二阶段失败。 为了从这种情况下恢复过来&＃xff0c;例如&＃xff0c;如果Lucene完成了其第二阶段的提交&＃xff0c;但是数据库的第二阶段遇到了一些错误&＃xff0c;崩溃或断电&＃xff0c;则可以通过在先前的提交上打开IndexWriter轻松回滚Lucene的提交。
• 实验性的索引更改&＃xff1a;也许您想尝试以新的方式重新索引索引的某些子集&＃xff0c;但是您不确定它是否会成功。 在这种情况下&＃xff0c;只需保留旧的提交&＃xff0c;然后在未解决的情况下回滚&＃xff0c;或者如果删除则删除旧的提交。
• 基于时间的快照&＃xff1a;也许您希望自由地回滚到1天&＃xff0c;1周前&＃xff0c;1个月前等的索引&＃xff0c;因此您可以根据提交的时间来保留提交。

请记住&＃xff0c;保持多个提交活动必定会占用额外的磁盘空间&＃xff0c;但是&＃xff0c;开销通常很小&＃xff0c;因为多个提交通常会共享公共段&＃xff0c;尤其是较大的旧段。

翻译自: https://www.javacodegeeks.com/2013/06/transactional-lucene.html

lucene 增加相关性