关于Lucene的检索(IndexSearcher)的内容。
通过一个例子,然后从例子所涉及到的内容出发,一点点地仔细研究每个类的实现和用法。
先写一个简单的使用Lucene实现的能够检索的类,如下所示:
package org.shirdrn.lucene;
import java.io.IOException;
import java.util.Date;
import java.util.List;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Fieldable;
import org.apache.lucene.index.CorruptIndexException;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.Term;
import org.apache.lucene.index.TermDocs;
import org.apache.lucene.search.Filter;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TermsFilter;
public class MySearcher {
public static void main(String[] args) {
String indexPath = "E:\\Lucene\\myindex";
try {
IndexSearcher searcher = new IndexSearcher(indexPath);
String keyword = "的";
Term term = new Term("contents",keyword);
IndexReader indexReader = IndexReader.open(indexPath);
int numberOfDocumentIncludingGivenTerm = indexReader.docFreq(term);
System.out.println("IndexReader的版本为 : "+indexReader.getVersion());
System.out.println("包含词条 ("+term.field()+","+term.text()+") 的Document的数量为 : "+numberOfDocumentIncludingGivenTerm);
Query query = new TermQuery(term);
Date startTime = new Date();
Hits hits = searcher.search(query);
System.out.println("********************************************************************");
int No = 1;
for(int i=0;i
TermDocs termDocs = searcher.getIndexReader().termDocs(term);
while(termDocs.next()){
if(termDocs.doc() == hits.id(i)){
System.out.println("Document的内部编号为 : "+hits.id(i));
Document doc = hits.doc(i);
List fieldList = doc.getFields();
//System.out.println("==========="+fieldList.size());
System.out.println("Document(编号) "+hits.id(i)+" 的Field的信息: ");
System.out.println(" ------------------------------------");
for(int j=0;j
System.out.println(" Field的名称为 : "+field.name());
System.out.println(" Field的内容为 : "+field.stringValue());
System.out.println(" ------------------------------------");
}
System.out.println("Document的内容为 : "+doc);
System.out.println("Document的得分为 : "+hits.score(i));
System.out.println("搜索的该关键字【"+keyword+"】在Document(编号) "+hits.id(i)+" 中,出现过 "+termDocs.freq()+" 次");
}
}
System.out.println("********************************************************************");
}
Date finishTime = new Date();
long timeOfSearch = finishTime.getTime() - startTime.getTime();
System.out.println("本次搜索所用的时间为 "+timeOfSearch+" ms");
} catch (CorruptIndexException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
}
}
首先要保证索引目录E:\\Lucene\\myindex下面已经存在索引文件,可以通过文章 Lucene-2.2.0 源代码阅读学习(4) 中一个使用Lucene的Demo中的递归建立索引的方法,将建立的索引文件存放到E:\\Lucene\\myindex目录之下。
执行上面的主函数,输出结果如下所示:
IndexReader的版本为 : 1207548172961
包含词条 (contents,的) 的Document的数量为 : 23
********************************************************************
【 序号 】: 1
Document的内部编号为 : 24
Document(编号) 24 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\FAQ.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200604130754
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.5279752
搜索的该关键字【的】在Document(编号) 24 中,出现过 291 次
********************************************************************
【 序号 】: 2
Document的内部编号为 : 5
Document(编号) 5 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\3实验题目.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200710300744
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.5252467
搜索的该关键字【的】在Document(编号) 5 中,出现过 2 次
********************************************************************
【 序号 】: 3
Document的内部编号为 : 12
Document(编号) 12 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\CustomKeyInfo.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200406041814
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.51790017
搜索的该关键字【的】在Document(编号) 12 中,出现过 70 次
********************************************************************
【 序号 】: 4
Document的内部编号为 : 41
Document(编号) 41 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\Update.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200707050028
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.5059122
搜索的该关键字【的】在Document(编号) 41 中,出现过 171 次
********************************************************************
【 序号 】: 5
Document的内部编号为 : 0
Document(编号) 0 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\120E升级包安装说明.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200803271123
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.43770555
搜索的该关键字【的】在Document(编号) 0 中,出现过 2 次
********************************************************************
【 序号 】: 6
Document的内部编号为 : 3
Document(编号) 3 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\1实验题目.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200710160733
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.4333064
搜索的该关键字【的】在Document(编号) 3 中,出现过 1 次
********************************************************************
【 序号 】: 7
Document的内部编号为 : 60
Document(编号) 60 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\猫吉又有个忙,需要大家帮忙一下.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200706161112
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.4106042
搜索的该关键字【的】在Document(编号) 60 中,出现过 11 次
********************************************************************
【 序号 】: 8
Document的内部编号为 : 59
Document(编号) 59 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\汉化说明.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200708210247
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.39057708
搜索的该关键字【的】在Document(编号) 59 中,出现过 13 次
********************************************************************
【 序号 】: 9
Document的内部编号为 : 44
Document(编号) 44 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\Visual Studio 2005注册升级.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200801300512
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.37525433
搜索的该关键字【的】在Document(编号) 44 中,出现过 3 次
********************************************************************
【 序号 】: 10
Document的内部编号为 : 56
Document(编号) 56 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\新1建 文本文档.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200710311142
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.36621076
搜索的该关键字【的】在Document(编号) 56 中,出现过 35 次
********************************************************************
【 序号 】: 11
Document的内部编号为 : 46
Document(编号) 46 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\使用技巧集萃.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200511210413
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.35693806
搜索的该关键字【的】在Document(编号) 46 中,出现过 133 次
********************************************************************
【 序号 】: 12
Document的内部编号为 : 30
Document(编号) 30 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\MyEclipse 注册码.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200712061059
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.3460366
搜索的该关键字【的】在Document(编号) 30 中,出现过 5 次
********************************************************************
【 序号 】: 13
Document的内部编号为 : 63
Document(编号) 63 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\疑问即时记录.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200711141408
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.30325133
搜索的该关键字【的】在Document(编号) 63 中,出现过 6 次
********************************************************************
【 序号 】: 14
Document的内部编号为 : 37
Document(编号) 37 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\readme.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200803101314
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.26262334
搜索的该关键字【的】在Document(编号) 37 中,出现过 8 次
********************************************************************
【 序号 】: 15
Document的内部编号为 : 48
Document(编号) 48 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\剑心补丁使用说明(readme).txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200803101357
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.26262334
搜索的该关键字【的】在Document(编号) 48 中,出现过 8 次
********************************************************************
【 序号 】: 16
Document的内部编号为 : 47
Document(编号) 47 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\关系记录.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200802201145
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.23161201
搜索的该关键字【的】在Document(编号) 47 中,出现过 14 次
********************************************************************
【 序号 】: 17
Document的内部编号为 : 40
Document(编号) 40 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\Struts之AddressBooks学习笔记.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200710131711
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.21885277
搜索的该关键字【的】在Document(编号) 40 中,出现过 8 次
********************************************************************
【 序号 】: 18
Document的内部编号为 : 51
Document(编号) 51 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\密码强度检验.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200712010901
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.12380183
搜索的该关键字【的】在Document(编号) 51 中,出现过 1 次
********************************************************************
【 序号 】: 19
Document的内部编号为 : 50
Document(编号) 50 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\史上最强天籁之声及欧美流行曲超级精选【 FLAC分轨】.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200712231241
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.1083266
搜索的该关键字【的】在Document(编号) 50 中,出现过 1 次
********************************************************************
【 序号 】: 20
Document的内部编号为 : 57
Document(编号) 57 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\新建 文本文档.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200710270258
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.09285137
搜索的该关键字【的】在Document(编号) 57 中,出现过 4 次
********************************************************************
【 序号 】: 21
Document的内部编号为 : 45
Document(编号) 45 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\书籍网站.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200708071255
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.0670097
搜索的该关键字【的】在Document(编号) 45 中,出现过 3 次
********************************************************************
【 序号 】: 22
Document的内部编号为 : 61
Document(编号) 61 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\网络查询大全.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200111200655
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.065655835
搜索的该关键字【的】在Document(编号) 61 中,出现过 2 次
********************************************************************
【 序号 】: 23
Document的内部编号为 : 14
Document(编号) 14 的Field的信息:
------------------------------------
Field的名称为 : path
Field的内容为 : E:\Lucene\txt1\mytxt\CustomKeysSample.txt
------------------------------------
Field的名称为 : modified
Field的内容为 : 200610100451
------------------------------------
Document的内容为 : Document
Document的得分为 : 0.051179506
搜索的该关键字【的】在Document(编号) 14 中,出现过 7 次
********************************************************************
本次搜索所用的时间为 187 ms
其中,IndexReader是一个用于读取索引文件的抽象类,可以参考该类的源代码。IndexReader类可以很方便地打开一个索引目录(即创建一个输入流),这要使用到它的静态(static)方法open()打开即可,然后就可以访问索引文件了,从而实现对索引文件的维护。
IndexReader类实现了各种打开索引文件的方式,由于定义为static的,所以非常方便地调用,如下所示:
public static IndexReader open(String path) throws CorruptIndexException, IOException { // 通过String的索引目录的路径
return open(FSDirectory.getDirectory(path), true, null);
}
public static IndexReader open(File path) throws CorruptIndexException, IOException { // 通过File构造的索引目录文件
return open(FSDirectory.getDirectory(path), true, null);
}
public static IndexReader open(final Directory directory) throws CorruptIndexException, IOException { // 直接通过Directory来打开
return open(directory, false, null);
}
public static IndexReader open(final Directory directory, IndexDeletionPolicy deletionPolicy) throws CorruptIndexException, IOException { // 直接通过Directory来打开,并指定一种索引文件删除策略,可以对索引文件进行维护(删除操作)
return open(directory, false, deletionPolicy);
}
其中,最核心的实现是在一个私有的open()方法中实现的,如下所示:
private static IndexReader open(final Directory directory, final boolean closeDirectory, final IndexDeletionPolicy deletionPolicy) throws CorruptIndexException, IOException {
return (IndexReader) new SegmentInfos.FindSegmentsFile(directory) {
protected Object doBody(String segmentFileName) throws CorruptIndexException, IOException {
SegmentInfos infos = new SegmentInfos();
infos.read(directory, segmentFileName);
IndexReader reader;
if (infos.size() == 1) { // index is optimized
reader = SegmentReader.get(infos, infos.info(0), closeDirectory);
} else {
// To reduce the chance of hitting FileNotFound
// (and having to retry), we open segments in
// reverse because IndexWriter merges & deletes
// the newest segments first.
IndexReader[] readers = new IndexReader[infos.size()];
for (int i = infos.size()-1; i >= 0; i--) {
try {
readers[i] = SegmentReader.get(infos.info(i));
} catch (IOException e) {
// Close all readers we had opened:
for(i++;i
}
throw e;
}
}
reader = new MultiReader(directory, infos, closeDirectory, readers);
}
reader.deletionPolicy = deletionPolicy;
return reader;
}
}.run();
}
上面测试程序中,IndexSearcher类是实现检索的核心类。它提供了很多中不同的检索方式,返回的对象也可以适用于不同的需要,比如Hits、TopFieldDocs、TopDocs,而且,还可以指定排序Sort、权重Weight、过滤器Filter作为search()方法的参数,用起来的灵活、方便。
通过程序中,红色标注的代码行:
TermDocs termDocs = searcher.getIndexReader().termDocs(term);
其实,一个IndexSearcher实例化以后,可以通过它获取到一个IndexReader的实例,从而打开一个索引目录。
然后从就可以从创建的输入流中读取索引文件的详细信息:
1、每个Document的内部编号(是唯一的,可以通过这个编号对其进行维护);
2、每个Document中都有多个Field,可以读取Field的名称、路径、Field的内容等等。
上面的测试程序中,没有输出名称为“contents”的Field,是因为在索引文件中没有存储Fielde的内容(即文本信息)。因为Field的内容是根据从指定的数据源中获取,而数据源可能是数据量非常大的一些文件,如果直接将它们保存到索引文件中,会占用很大的磁盘空间。
其实,可以根据需要存储。上面之所以没有存储,可以追溯到Lucene自带的Demo中的设置,在org.apache.lucene.demo.FileDocument中创建Field,如下所示:
// 构造一个Field,这个Field可以从一个文件流中读取,必须保证由f所构造的文件流是打开的
doc.add(new Field("contents", new FileReader(f)));
然后,看Field的该构造方法的定义:
public Field(String name, Reader reader) {
this(name, reader, TermVector.NO);
}
这个构造方法指定了要为这个创建的Field进行分词、索引,但是不存储。
可以参考调用的另一个构造方法:
public Field(String name, Reader reader, TermVector termVector) {
if (name == null)
throw new NullPointerException("name cannot be null");
if (reader == null)
throw new NullPointerException("reader cannot be null");
this.name = name.intern(); // field names are interned
this.fieldsData = reader;
this.isStored = false; // 指定不进行存储
this.isCompressed = false;
this.isIndexed = true; // 要进行索引
this.isTokenized = true; // 要进行分词
this.isBinary = false;
setStoreTermVector(termVector);
}
上面测试程序中,Hits是一个内容非常丰富的实现类。
通过检索返回Hits类的对象,可以通过Hits类的实例来获取Document的id,以及计算该Document的得分,并且在search()执行之后,返回的结果按照得分的高低来排序输出,得分值高的在前面。
以此做个引子,之后再详细学习研究。