Lucene中创建索引的效率和删除索引的实现

越来越多的人利用开源组件 Lucene来开发自己的搜索引擎。在数据量不大的情况下&＃xff0c;我们不会太关注创建索引的效率&＃xff1b;但是&＃xff0c;但数据达到一定的数量是&＃xff0c;我们就不得不考虑如何提高创建索引的性能&＃xff0c;以缩短索引创建的时间。

我们是用Lucene中提供的类IndexWriter来创建索引的&＃xff0c;所以我们不妨先看一看IndexWriter类中关系到索引创建效率的几个方法。

一、SetMergeFactor&＃xff08;合并因子&＃xff09;
SetMergeFactor是控制segment合并 频率的&＃xff0c;其决定了一个索引块中包括多少个文档&＃xff0c;当硬盘上的索引块达到多少时&＃xff0c;将它们合并成一个较大的索引块。当MergeFactor值较大时&＃xff0c;生成索引 的速度较快。MergeFactor的默认值是10&＃xff0c;建议在建立索引前将其设置的大一些。

二、SetMaxBufferedDocs&＃xff08;最大缓存文档数&＃xff09;
SetMaxBufferedDocs是控制写入一个新的segment前内存中保存的document的数目&＃xff0c;设置较大的数目可以加快建索引速度&＃xff0c;默认为10。

三、SetMaxMergeDocs&＃xff08;最大合并文档数&＃xff09;
SetMaxMergeDocs是控制一个segment中可以保存的最大document数目&＃xff0c;值较小有利于追加索引的速度&＃xff0c;默认Integer.MAX_VALUE&＃xff0c;无需修改。

在创建大量数据的索引时&＃xff0c;我们会发现索引过程的瓶颈在于大量的磁盘操作&＃xff0c;如果内存足够大的话&＃xff0c;我们应当尽量使用内存&＃xff0c;而非硬盘。可以通过SetMaxBufferedDocs来调整&＃xff0c;增大Lucene使用内存的次数。

如果内存足够大的话&＃xff0c;我们也可以在索引过程中完全避免使用硬盘。Lucene支持使用文件系统和内存两种方式创建索引&＃xff0c;我们可以先把索引写入到RAMDirectory&＃xff0c;达到一定数量时再批量写进FSDirectory&＃xff0c;减少磁盘操作次数。相关的代码如下&＃xff1a;

另外&＃xff0c;SetUseCompoundFile这个方法可以使Lucene在创建索引库时&＃xff0c;会合并多个 Segments 文件到一个 .cfs 中。此方式有助于减少索引文件数量&＃xff0c;对于将来搜索的效率有较大影响。

若需要从索引中删除某一个或者某一类文档&＃xff0c;IndexReader提供了两种方法&＃xff1a;
reader.DeleteDocument(int docNum)
reader.DeleteDocuments(Term term)

前者是根据文档的编号来删除该文档&＃xff0c;docNum是该文档进入索引时Lucene的编号&＃xff0c;是按照顺序编的&＃xff1b;后者是删除满足某一个条件的多个文档。

在执行了DeleteDocument或者DeleteDocuments方法后&＃xff0c;系统会生成一个*.del的文件&＃xff0c;该文件中记录了删除的文档&＃xff0c;但 并未从物理上删除这些文档。此时&＃xff0c;这些文档是受保护的&＃xff0c;当使用Document doc &＃61; reader.Document(i)来访问这些受保护的文档时&＃xff0c;Lucene会报“Attempt to access a deleted document”异常。如果一次需要删除多个文档时&＃xff0c;可以用两种方法来解决&＃xff1a;

1. 删除一个文档后&＃xff0c;用IndexWriter的Optimize方法来优化索引&＃xff0c;这样我们就可以继续删除另一个文档。

2. 先扫描整个索引文件&＃xff0c;记录下需要删除的文档在索引中的编号。然后&＃xff0c;一次性调用DeleteDocument删除这些文档&＃xff0c;再调用IndexWriter的Optimize方法来优化索引。

转自&＃xff1a;http://blog.sina.com.cn/s/blog_56e2f4250100nxzy.html