热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

4、Lucene入门程序及api的说明

1.1需求实现一个资源管理器的搜索功能,通过关键字搜索,凡是文件名或文件内容包括关键字的文件都要找出来。注意:该入门程序只对文本文件(.txt)搜索。1.2开发环境Jdk:1.7.0_72以上
1.1 需求 实现一个资源管理器的搜索功能,通过关键字搜索,凡是文件名或文件内容包括关键字的文件都要找出来。 注意:该入门程序只对文本文件(.txt)搜索。  1.2 开发环境  Jdk:1.7.0_72以上的版本  Lucene包: lucene-core-4.10.3.jar lucene-analyzers-common-4.10.3.jar lucene-queryparser-4.10.3.jar 其它:commons-io-2.4.jarjunit-4.9.jar  或者 pom.xml

org.apache.lucene
lucene-core
6.3.0


org.apache.lucene
lucene-highlighter
6.3.0


org.apache.lucene
lucene-queryparser
6.3.0


org.apache.lucene
lucene-analyzers-common
6.3.0


org.apache.lucene
lucene-analyzers-smartcn
6.3.0


commons-io
commons-io
2.4
1.3 Index索引1.3.1     创建数据源目录 存放文档的目录创建数据源目录D:\LucentTest\luceneFile,该目录存放要搜索的原始文件。 1.3.2     创建索引目录   存放索引的目录创建索引目录D:\LucentTest\luceneIndex ,该目录存放创建的索引文件。 1.3.3     Document和Field索引的目的是为了搜索,索引前要对搜索的内容创建成Document和Field。Document文档是Lucene搜索的单位,最终要将文档中的数据展示给用户,文档中包括多个Field,在设计文档对象时,可以将一个Document对应关系数据库的一条记录,字段对应Field,但是要注意:Document结构属于NOSql(非关系),不同的Document包括不同的Field,建议将相同类型数据的Document保持Field一致,方便管理维护,避免将不同类型Field数据融合在一个Document中。比如:         文件信息Document,Field包括:文件名称、文件类型、文件大小、文件路径、文件内容等,避免加入非文件信息Field。  1.3.3.1    Field属性         Field是文档中的域,包括Field名和Field值两部分,一个文档可以包括多个Field,Document只是Field的一个承载体,Field值即为要索引的内容,也是要搜索的内容。 1、  是否分析(tokenized)是:将Field值分析出语汇单元即作分词处理,将词进行索引比如:商品名称、商品简介等,这些内容用户要输入关键字搜索,由于搜索的内容格式大、内容多需要分析后将语汇单元索引。 否:不作分词处理比如:商品id、订单号、身份证号等 2、  是否索引(indexed)是:将Field分析后的词或整个Field值进行索引,只有索引方可搜索到。比如:商品名称、商品简介分析后进行索引,订单号、身份证号不用分析但也要索引,这些将来都要作为查询条件。 否:不索引无法搜索到比如:商品id、文件路径、图片路径等,不用作为查询条件的不用索引。 3、  是否存储(stored)是:将Field值存储在文档中,存储在文档中的Field才可以从Document中获取比如:商品名称、订单号,凡是将来要从Document中获取的Field都要存储。 否:不存储Field值,不存储的Field无法通过Document获取比如:商品简介,内容较大不用存储。如果要向用户展示商品简介可以从系统的关系数据库中获取商品简介。 1.3.3.2    Field常用类型下边列出了开发中常用 的Filed类型,注意Field的属性,根据需求选择: 
名称 说明
IntPoint 对int型字段索引,只索引不存储,提供了一些静态工厂方法用于创建一般的查询,提供了不同于文本的数值类型存储方式,使用KD-trees索引
FloatPoint 对float型字段索引,其它同上
LongPoint 对long型字段索引,其它同上
DoublePoint 对double型字段索引,其它同上
BinaryDocValuesField 只存储不共享,例如标题类字段,如果需要共享并排序,推荐使用SortedDocValuesField
NumericDocValuesField 存储long型字段,用于评分、排序和值检索,如果需要存储值,还需要添加一个单独的StoredField实例
SortedDocValuesField 索引并存储,用于String类型的Field排序,需要在StringField后添加同名的SortedDocValuesField
StringField 只索引但不分词,所有的字符串会作为一个整体进行索引,例如通常用于country或id等
TextField 索引并分词,不包括term vectors,例如通常用于一个body Field
StoredField 存储Field的值,可以用 IndexSearcher.doc和IndexReader.document来获取存储的Field和存储的值
1.3.4     IndexWriter和Directory         IndexWriter是索引过程的核心组件,通过IndexWriter可以创建新索引、更新索引、删除索引操作。IndexWriter需要通过Directory对索引进行存储操作。          Directory描述了索引的存储位置,底层封装了I/O操作,负责对索引进行存储。它的子类常用的包括FSDirectory(在文件系统存储索引)、RAMDirectory(在内存存储索引)。 1.3.5     索引程序代码分析:确定文档的各各域的属性和类型:文件名称:不分析、索引、存储,使用StringField方法文件路径:不分析、不索引、存储,使用StoredField方法文件大小:分析、索引、存储,使用LongField方法文件内容:分析,索引,不存储,使用TextField方法代码如下:
/**
* 创建索引
*/
@Test
public void createIndex() throws Exception {
//1、指定索引存放的路径 ,lucene特点,创建一次索引,可多次使用
//方式有两种,一种是放在内存中的, 也就是我们通过new 的方式去实现,另一种是生成文件。
//Directory directory=new RAMDirectory(); //内存的方式 RAM 表示内存
Directory directory=FSDirectory.open(Paths.get("D:\\LucentTest\\luceneIndex"));
//分析器对象
Analyzer analyzer = new StandardAnalyzer();
//创建一个IndexwriterConfig对象
//第一个参数:lucene的版本,第二个参数:分析器对象
IndexWriterConfig cOnfig=new IndexWriterConfig(analyzer);
//创建一个Indexwriter对象
IndexWriter indexWriter = new IndexWriter(directory, config);
indexWriter.deleteAll();//清除以前的index

//读取文件信息
//原始文档存放的目录
File path = new File("D:\\LucentTest\\luceneFile");
for (File file:path.listFiles()) {
if (file.isDirectory()) continue;
//读取文件信息
//文件名
String fileName = file.getName();
//文件内容
String fileCOntent= FileUtils.readFileToString(file);
//文件的路径
String filePath = file.getPath();
//文件的大小
long fileSize = FileUtils.sizeOf(file);
//创建文档对象
Document document = new Document();
//创建域
//三个参数:1、域的名称2、域的值3、是否存储 Store.YES:存储 Store.NO:不存储
Field nameField = new TextField("name", fileName, Field.Store.YES);
Field cOntentField= new TextField("content", fileContent, Field.Store.YES);
Field pathField = new StoredField("path", filePath);

//把域添加到document对象中
document.add(nameField);
document.add(contentField);
document.add(pathField);
//把document写入索引库
indexWriter.addDocument(document);
}
indexWriter.close();
}
1.4 Search 搜索 1.4.1     索引结构 Lucene的索引结构为倒排索引,倒排文件或倒排索引是指索引对象是文档或者文档集合中的单词等,用来存储这些单词在一个文档或者一组文档中的存储位置,是对文档或者文档集合的一种最常用的索引机制。 Lucene索引index由若干段(segment)组成,每一段由若干的文档(document)组成,每一个文档由若干的域(field)组成,每一个域由若干的项(term)组成。项是最小的索引单位,如果Field进行分析,可能会分析出多个语汇单元(词),每个词就是一个Term项,如果Field不进行分析,整个Field就是一个Term项。项直接代表了一个字符串以及其在文件中的位置、出现次数等信息。域将项和文档进行关联。 1.4.2     使用Luke查看索引         Luke作为Lucene工具包中的一个工具(http://www.getopt.org/luke/),用于查询、修改lucene的索引文件。 打开Luke方法:cmd运行:java  -jar lukeall-4.10.3.jar 如果需要加载第三方分词器,如果需要加载第三方分词器,需通过java.ext.dirs加载jar包:可简单的将第三方分词器和lukeall放在一块儿,cmd下运行:。java -Djava.ext.dirs=. -jar lukeall-4.10.3.jar  
   1.4.3     确定索引目录搜索是要从索引中查找,确定索引目录即上边创建的索引目录 D:\LucentTest\luceneIndex。 1.4.4     IndexSearcher和IndexReader通过IndexSearcher执行搜索,构建IndexSearcher需要IndexReader读取索引目录,如下图:
代码如下:// 指定 目录
 File folder = new File(indexFolder);
Directory directory = FSDirectory.open(folder);
// indexReader
IndexReader indexReader = DirectoryReader.open(directory);
// 定义indexSearcher
IndexSearcher indexSearcher = new IndexSearcher(indexReader);

需要注意:Indexreader打开需要耗费很大的系统资源,建议使用一个IndexReader,如果索引进行添加、修改或删除需要打开新的Reader才可以搜索到。 IndexSearcher搜索方法如下: 
方法 说明
indexSearcher.search(query, n) 根据Query搜索,返回评分最高的n条记录
indexSearcher.search(query, filter, n) 根据Query搜索,添加过滤策略,返回评分最高的n条记录
indexSearcher.search(query, n, sort) 根据Query搜索,添加排序策略,返回评分最高的n条记录
indexSearcher.search(booleanQuery, filter, n, sort) 根据Query搜索,添加过滤策略,添加排序策略,返回评分最高的n条记录
  1.4.5     搜索程序代码
/**
* 查询索引
* @throws Exception
*/
@Test
public void searchIndex() throws Exception {
//打开索引库
//指定索引库存放的位置
Directory directory = FSDirectory.open(Paths.get("D:\\LucentTest\\luceneIndex"));
//创建一个IndexReader对象
IndexReader indexReader = DirectoryReader.open(directory);
//创建IndexSearcher对象
IndexSearcher indexSearcher = new IndexSearcher(indexReader);
//创建查询对象
//参数:1、要搜索的域2、搜索的关键词
Query query = new TermQuery(new Term("content", "253"));
//执行查询
//第一个参数:查询对象,第二个参数:返回结果的最大值。
TopDocs topDocs = indexSearcher.search(query, 10);
//取总共查询的结果数量
System.out.println("查询结果总数量:" + topDocs.totalHits);
//文档的ID列表
ScoreDoc[] scoreDocs = topDocs.scoreDocs;
//遍历列表
for (ScoreDoc scoreDoc : scoreDocs) {
//文档的id
int doc = scoreDoc.doc;
//根据文档的id取document对象
Document document = indexSearcher.doc(doc);
//取文档中的域的内容
System.out.println(document.get("name"));
System.out.println(document.get("content"));
System.out.println(document.get("path"));
}
//关闭indexreader对象
indexReader.close();
}
1.4.6     TopDocs Lucene搜索结果可通过TopDocs遍历,TopDocs类提供了少量的属性,如下: 
方法或属性 说明
totalHits 匹配搜索条件的总记录数
scoreDocs 顶部匹配记录
 注意:Search方法需要指定匹配记录数量n:indexSearcher.search(query, n)TopDocs.totalHits:是匹配索引库中所有记录的数量TopDocs.scoreDocs:匹配相关度高的前边记录数组,scoreDocs的长度小于等于search方法指定的参数n 



推荐阅读
  • 本文介绍了 Go 语言中的高性能、可扩展、轻量级 Web 框架 Echo。Echo 框架简单易用,仅需几行代码即可启动一个高性能 HTTP 服务。 ... [详细]
  • 本文将介绍如何在混合开发(Hybrid)应用中实现Native与HTML5的交互,包括基本概念、学习目标以及具体的实现步骤。 ... [详细]
  • Hadoop的文件操作位于包org.apache.hadoop.fs里面,能够进行新建、删除、修改等操作。比较重要的几个类:(1)Configurati ... [详细]
  • WinMain 函数详解及示例
    本文详细介绍了 WinMain 函数的参数及其用途,并提供了一个具体的示例代码来解析 WinMain 函数的实现。 ... [详细]
  • 使用Maven JAR插件将单个或多个文件及其依赖项合并为一个可引用的JAR包
    本文介绍了如何利用Maven中的maven-assembly-plugin插件将单个或多个Java文件及其依赖项打包成一个可引用的JAR文件。首先,需要创建一个新的Maven项目,并将待打包的Java文件复制到该项目中。通过配置maven-assembly-plugin,可以实现将所有文件及其依赖项合并为一个独立的JAR包,方便在其他项目中引用和使用。此外,该方法还支持自定义装配描述符,以满足不同场景下的需求。 ... [详细]
  • 在Java Web服务开发中,Apache CXF 和 Axis2 是两个广泛使用的框架。CXF 由于其与 Spring 框架的无缝集成能力,以及更简便的部署方式,成为了许多开发者的首选。本文将详细介绍如何使用 CXF 框架进行 Web 服务的开发,包括环境搭建、服务发布和客户端调用等关键步骤,为开发者提供一个全面的实践指南。 ... [详细]
  • 使用HTML和JavaScript实现视频截图功能
    本文介绍了如何利用HTML和JavaScript实现从远程MP4、本地摄像头及本地上传的MP4文件中截取视频帧,并展示了具体的实现步骤和示例代码。 ... [详细]
  • 本文介绍了如何使用Python爬取妙笔阁小说网仙侠系列中所有小说的信息,并将其保存为TXT和CSV格式。主要内容包括如何构造请求头以避免被网站封禁,以及如何利用XPath解析HTML并提取所需信息。 ... [详细]
  • 自然语言处理(NLP)——LDA模型:对电商购物评论进行情感分析
    目录一、2020数学建模美赛C题简介需求评价内容提供数据二、解题思路三、LDA简介四、代码实现1.数据预处理1.1剔除无用信息1.1.1剔除掉不需要的列1.1.2找出无效评论并剔除 ... [详细]
  • C#实现文件的压缩与解压
    2019独角兽企业重金招聘Python工程师标准一、准备工作1、下载ICSharpCode.SharpZipLib.dll文件2、项目中引用这个dll二、文件压缩与解压共用类 ... [详细]
  • Spring Data JdbcTemplate 入门指南
    本文将介绍如何使用 Spring JdbcTemplate 进行数据库操作,包括查询和插入数据。我们将通过一个学生表的示例来演示具体步骤。 ... [详细]
  • 我有一个从C项目编译的.o文件,该文件引用了名为init_static_pool ... [详细]
  • 本文节选自《NLTK基础教程——用NLTK和Python库构建机器学习应用》一书的第1章第1.2节,作者Nitin Hardeniya。本文将带领读者快速了解Python的基础知识,为后续的机器学习应用打下坚实的基础。 ... [详细]
  • javax.mail.search.BodyTerm.matchPart()方法的使用及代码示例 ... [详细]
  • 本文将带你快速了解 SpringMVC 框架的基本使用方法,通过实现一个简单的 Controller 并在浏览器中访问,展示 SpringMVC 的强大与简便。 ... [详细]
author-avatar
Colorful_Dong
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有