java中文分词工具_【java笔记】全文搜索技术Lucene

实现一个文件的搜索功能&＃xff0c;通过关键字搜索文件&＃xff0c;凡是文件名或文件内容包括关键字的文件都需要找出来。

数据分类&＃xff1a;

结构化数据: 指具有固定格式或有限长度的数据,如数据库等;

非结构化数据: 指不定长或无固定格式的数据, 如邮件、word 文档中的数据等;

全文检索原理:相当于字典,分为目录和正文两部分,查询的时候通过先查目录,然后通过目录上标注的页数去正文页查找需要的内容。

将文件中的内容提取出来, 将文字拆封成一个一个的词(分词), 将这些词组成索引(字典中的目录), 搜索的时候先搜索索引,通过索引找文档&＃xff0c;这种先建立索引&＃xff0c;再对索引进行搜索的过程就叫全文检索&＃xff1b;

分词: 去掉停用词(a, an, the ,的, 地, 得, 啊, 嗯 ,呵呵),因为搜索的时候搜索这些词没有意义,将句子拆分成词,去掉标点符号和空格&＃xff1b;

优点: 搜索速度快

缺点: 因为创建的索引需要占用磁盘空间,所以这个算法会使用掉更多的磁盘空间,这是用空间换时间&＃xff0c;对比顺序扫描法效率更高&＃xff1b;

Lucene实现全文检索&＃xff1a;

Lucene 是 apache 软件基金会 4 jakarta 项目组的一个子项目&＃xff0c;是一个开放源代码的全文检索引擎工具包&＃xff0c;但它不是一个完整的全文检索引擎&＃xff0c;而是一个全文检索引擎的架构&＃xff0c;Lucene 的目的是为软件开发人员提供一个简单易用的工具包&＃xff0c;以方便的在目标系统中实现全文检索的功能&＃xff0c;或者是以此为基础建立起完整的全文检索引擎。

Lucene是apache下的一个开放源代码的全文检索引擎工具包&＃xff0c;通过它可以实现全文检索。

Lucene包&＃xff1a;

lucene-core-4.10.3.jar 核心包

lucene-analyzers-common-4.10.3.jar 分词包

lucene-queryparser-4.10.3.jar 查询包

再配置文件中引入相应依赖&＃xff1a;

索引和检索流程图&＃xff1a;

1、绿色表示索引过程&＃xff0c;对要搜索的原始内容进行索引构建一个索引库&＃xff0c;索引过程包括&＃xff1a;获得原始文档à创建文档对象à分析文档à创建索引

2、红色表示搜索过程&＃xff0c;从索引库中搜索内容&＃xff0c;搜索过程包括&＃xff1a;用户通过搜索界面à创建查询à执行搜索&＃xff0c;从索引库搜索à渲染搜索结果

原始文档&＃xff1a;是指要索引和搜索的内容。原始内容包括互联网上的网页、数据库中的数据、磁盘上的文件等。

本案例要获取磁盘上文件的内容&＃xff0c;可以通过文件流来读取文本文件的内容&＃xff0c;对于pdf、doc、xls等文件可通过第三方提供的解析工具读取文件内容&＃xff0c;比如Apache POI读取doc和xls的文件内容。

创建索引

索引结构&＃xff1a;域名:词

索引作用&＃xff1a;它里面有指针指向这个词来源的文档

中文分词器&＃xff08;重点&＃xff09;

IK-analyzer&＃xff1a; 最新版在https://code.google.com/p/ik-analyzer/上&＃xff0c;支持Lucene 4.10从2006年12月推出1.0版开始&＃xff0c; IKAnalyzer已经推出了4个大版本。最初&＃xff0c;它是以开源项目Luence为应用主体的&＃xff0c;结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始&＃xff0c;IK发展为面向Java的公用分词组件&＃xff0c;独立于Lucene项目&＃xff0c;同时提供了对Lucene的默认优化实现。在2012版本中&＃xff0c;IK实现了简单的分词 歧义排除算法&＃xff0c;标志着IK分词器从单纯的词典分词向模拟语义分词衍化。 但是也就是2012年12月后没有在更新。

1、添加pom依赖

2、配置IKAnalyzer.cfg.xml和ext.dic(UTF-8)、stopword.dic(UTF-8)

3、修改分词器&＃xff1a;Analyzer analyzer &＃61; new IKAnalyzer();

IKAnalyzer.cfg.xml&＃xff1a;

扩展词典&＃xff1a;ext.dic&＃xff08;按需定义&＃xff09;

停用词词典&＃xff1a;stopword.dic

4. Field的详细介绍(难点)

分词&＃xff1a;是否对域的内容进行分词处理。比如&＃xff1a;订单号、身份证号不需要分词

是否索引&＃xff1a;将Field分析后的词进行索引&＃xff0c;只有索引方可搜索到。

比如&＃xff1a;商品名称、商品简介分析后进行索引&＃xff0c;订单号、身份证号不用分析但也要索引&＃xff0c;这些将来都要作为查询条件。

是否存储&＃xff1a;将Field值存储在文档中&＃xff0c;存储在文档中的Field才可以从Document中获取

比如&＃xff1a;商品名称、订单号&＃xff0c;凡是将来要从Document中获取的Field都要存储。

索引库的维护&＃xff1a;

文档的删除

文档的添加

文档的修改

索引库的查询&＃xff08;重点&＃xff09;&＃xff1a;

对要搜索的信息创建Query查询对象&＃xff0c;Lucene会根据Query查询对象生成最终的查询语法&＃xff0c;类似关系数据库Sql语法一样Lucene也有自己的查询语法&＃xff0c;比如&＃xff1a;“name:lucene”表示查询Field的name为“lucene”的文档信息。

未完