热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Lucene系列四:Lucene提供的分词器、IKAnalyze中文分词器集成、扩展IKAnalyzer的停用词和新词

一、Lucene提供的分词器StandardAnalyzer和SmartChineseAnalyzer1.新建一个测试Lucene提供的分词器的maven项目LuceneAnal

一、Lucene提供的分词器StandardAnalyzer和SmartChineseAnalyzer

1.新建一个测试Lucene提供的分词器的maven项目LuceneAnalyzer

2. 在pom.xml里面引入如下依赖


<dependency><groupId>org.apache.lucenegroupId><artifactId>lucene-coreartifactId><version>7.3.0version>dependency><dependency><groupId>org.apache.lucenegroupId><artifactId>lucene-analyzers-smartcnartifactId><version>7.3.0version>dependency>

 3. 新建一个标准分词器StandardAnalyzer的测试类LuceneStandardAnalyzerTest


package com.luceneanalyzer.use.standardanalyzer;import java.io.IOException;import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;/*** Lucene core模块中的 StandardAnalyzer英文分词器使用* 英文分词效果好&#xff0c;中文分词效果不好* &#64;author THINKPAD**/
public class LuceneStandardAnalyzerTest {private static void doToken(TokenStream ts) throws IOException {ts.reset();CharTermAttribute cta &#61; ts.getAttribute(CharTermAttribute.class);while (ts.incrementToken()) {System.out.print(cta.toString() &#43; "|");}System.out.println();ts.end();ts.close();}public static void main(String[] args) throws IOException {String etext &#61; "Analysis is one of the main causes of slow indexing. Simply put, the more you analyze the slower analyze the indexing (in most cases).";String chineseText &#61; "张三说的确实在理。";// Lucene core模块中的 StandardAnalyzer 英文分词器try (Analyzer ana &#61; new StandardAnalyzer();) {TokenStream ts &#61; ana.tokenStream("coent", etext);System.out.println("标准分词器&#xff0c;英文分词效果&#xff1a;");doToken(ts);ts &#61; ana.tokenStream("content", chineseText);System.out.println("标准分词器&#xff0c;中文分词效果&#xff1a;");doToken(ts);} catch (IOException e) {}}
}

 运行效果&#xff1a;


标准分词器&#xff0c;英文分词效果&#xff1a;
analysis
|one|main|causes|slow|indexing|simply|put|more|you|analyze|slower|analyze|indexing|most|cases|
标准分词器&#xff0c;中文分词效果&#xff1a;
|三|说|的|确|实|在|理|

 4. 新建一个Lucene提供的中文分词器SmartChineseAnalyzer的测试类


package com.luceneanalyzer.use.smartchineseanalyzer;import java.io.IOException;import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;/*** Lucene提供的中文分词器模块&#xff0c;lucene-analyzers-smartcn:Lucene 的中文分词器 SmartChineseAnalyzer* 中英文分词效果都不好* * &#64;author THINKPAD**/
public class LuceneSmartChineseAnalyzerTest {private static void doToken(TokenStream ts) throws IOException {ts.reset();CharTermAttribute cta &#61; ts.getAttribute(CharTermAttribute.class);while (ts.incrementToken()) {System.out.print(cta.toString() &#43; "|");}System.out.println();ts.end();ts.close();}public static void main(String[] args) throws IOException {String etext &#61; "Analysis is one of the main causes of slow indexing. Simply put, the more you analyze the slower analyze the indexing (in most cases).";String chineseText &#61; "张三说的确实在理。";// Lucene 的中文分词器 SmartChineseAnalyzertry (Analyzer smart &#61; new SmartChineseAnalyzer()) {TokenStream ts &#61; smart.tokenStream("content", etext);System.out.println("smart中文分词器&#xff0c;英文分词效果&#xff1a;");doToken(ts);ts &#61; smart.tokenStream("content", chineseText);System.out.println("smart中文分词器&#xff0c;中文分词效果&#xff1a;");doToken(ts);}}
}

 运行效果&#xff1a;


smart中文分词器&#xff0c;英文分词效果&#xff1a;
analysi
|is|on|of|the|main|caus|of|slow|index|simpli|put|the|more|you|analyz|the|slower|analyz|the|index|in|most|case|
smart中文分词器&#xff0c;中文分词效果&#xff1a;
|三|说|的|确实|在|理|


二、IKAnalyze中文分词器集成

IKAnalyzer是开源、轻量级的中文分词器&#xff0c;应用比较多

最先是作为lucene上使用而开发&#xff0c;后来发展为独立的分词组件。只提供到Lucene 4.0版本的支持。我们在4.0以后版本Lucene中使用就需要简单集成一下。

需要做集成&#xff0c;是因为Analyzer的createComponents方法API改变了

IKAnalyzer提供两种分词模式&#xff1a;细粒度分词和智能分词

集成步骤

1、找到 IkAnalyzer包体提供的Lucene支持类&#xff0c;比较IKAnalyzer的createComponets方法。

4.0及之前版本的createComponets方法&#xff1a;


&#64;Overrideprotected TokenStreamComponents createComponents(String fieldName, final Reader in) {Tokenizer _IKTokenizer &#61; new IKTokenizer(in, this.useSmart());return new TokenStreamComponents(_IKTokenizer);}

最新的createComponets方法&#xff1a;


protected abstract TokenStreamComponents createComponents(String fieldName);

2、照这两个类&#xff0c;创建新版本的&#xff0c; 类里面的代码直接复制&#xff0c;修改参数即可。


下面开始集成&#xff1a;

1.新建一个maven项目IkanalyzerIntegrated

 

2. 在pom.xml里面引入如下依赖


<dependency><groupId>org.apache.lucenegroupId><artifactId>lucene-coreartifactId><version>7.3.0version>dependency> <dependency><groupId>com.janeluogroupId><artifactId>ikanalyzerartifactId><version>2012_u6version><exclusions><exclusion><groupId>org.apache.lucenegroupId><artifactId>lucene-coreartifactId>exclusion><exclusion><groupId>org.apache.lucenegroupId><artifactId>lucene-queryparserartifactId>exclusion><exclusion><groupId>org.apache.lucenegroupId><artifactId>lucene-analyzers-commonartifactId>exclusion>exclusions>dependency>

 3. 重写分析器


package com.study.lucene.ikanalyzer.Integrated;import org.apache.lucene.analysis.Analyzer;/*** 因为Analyzer的createComponents方法API改变了需要重新实现分析器* &#64;author THINKPAD**/
public class IKAnalyzer4Lucene7 extends Analyzer {private boolean useSmart &#61; false;public IKAnalyzer4Lucene7() {this(false);}public IKAnalyzer4Lucene7(boolean useSmart) {super();this.useSmart &#61; useSmart;}public boolean isUseSmart() {return useSmart;}public void setUseSmart(boolean useSmart) {this.useSmart &#61; useSmart;}&#64;Overrideprotected TokenStreamComponents createComponents(String fieldName) {IKTokenizer4Lucene7 tk &#61; new IKTokenizer4Lucene7(this.useSmart);return new TokenStreamComponents(tk);}}

 4. 重写分词器


package com.study.lucene.ikanalyzer.Integrated;import java.io.IOException;import org.apache.lucene.analysis.Tokenizer;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
import org.apache.lucene.analysis.tokenattributes.OffsetAttribute;
import org.apache.lucene.analysis.tokenattributes.TypeAttribute;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;/*** 因为Analyzer的createComponents方法API改变了需要重新实现分词器* &#64;author THINKPAD**/
public class IKTokenizer4Lucene7 extends Tokenizer {// IK分词器实现private IKSegmenter _IKImplement;// 词元文本属性private final CharTermAttribute termAtt;// 词元位移属性private final OffsetAttribute offsetAtt;// 词元分类属性&#xff08;该属性分类参考org.wltea.analyzer.core.Lexeme中的分类常量&#xff09;private final TypeAttribute typeAtt;// 记录最后一个词元的结束位置private int endPosition;/*** &#64;param in* &#64;param useSmart*/public IKTokenizer4Lucene7(boolean useSmart) {super();offsetAtt &#61; addAttribute(OffsetAttribute.class);termAtt &#61; addAttribute(CharTermAttribute.class);typeAtt &#61; addAttribute(TypeAttribute.class);_IKImplement &#61; new IKSegmenter(input, useSmart);}/** (non-Javadoc)* * &#64;see org.apache.lucene.analysis.TokenStream#incrementToken()*/&#64;Overridepublic boolean incrementToken() throws IOException {// 清除所有的词元属性
clearAttributes();Lexeme nextLexeme &#61; _IKImplement.next();if (nextLexeme !&#61; null) {// 将Lexeme转成Attributes// 设置词元文本
termAtt.append(nextLexeme.getLexemeText());// 设置词元长度
termAtt.setLength(nextLexeme.getLength());// 设置词元位移
offsetAtt.setOffset(nextLexeme.getBeginPosition(),nextLexeme.getEndPosition());// 记录分词的最后位置endPosition &#61; nextLexeme.getEndPosition();// 记录词元分类
typeAtt.setType(nextLexeme.getLexemeTypeString());// 返会true告知还有下个词元return true;}// 返会false告知词元输出完毕return false;}/** (non-Javadoc)* * &#64;see org.apache.lucene.analysis.Tokenizer#reset(java.io.Reader)*/&#64;Overridepublic void reset() throws IOException {super.reset();_IKImplement.reset(input);}&#64;Overridepublic final void end() {// set final offsetint finalOffset &#61; correctOffset(this.endPosition);offsetAtt.setOffset(finalOffset, finalOffset);}
}

 5. 新建一个IKAnalyzer的测试类IKAnalyzerTest


package com.study.lucene.ikanalyzer.Integrated;import java.io.IOException;import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;/*** IKAnalyzer分词器集成测试:* 细粒度切分&#xff1a;把词分到最细* 智能切分&#xff1a;根据词库进行拆分符合我们的语言习惯* * &#64;author THINKPAD**/
public class IKAnalyzerTest {private static void doToken(TokenStream ts) throws IOException {ts.reset();CharTermAttribute cta &#61; ts.getAttribute(CharTermAttribute.class);while (ts.incrementToken()) {System.out.print(cta.toString() &#43; "|");}System.out.println();ts.end();ts.close();}public static void main(String[] args) throws IOException {String etext &#61; "Analysis is one of the main causes of slow indexing. Simply put, the more you analyze the slower analyze the indexing (in most cases).";String chineseText &#61; "张三说的确实在理。";/*** ikanalyzer 中文分词器 因为Analyzer的createComponents方法API改变了 需要我们自己实现* 分析器IKAnalyzer4Lucene7和分词器IKTokenizer4Lucene7*/// IKAnalyzer 细粒度切分try (Analyzer ik &#61; new IKAnalyzer4Lucene7();) {TokenStream ts &#61; ik.tokenStream("content", etext);System.out.println("IKAnalyzer中文分词器 细粒度切分&#xff0c;英文分词效果&#xff1a;");doToken(ts);ts &#61; ik.tokenStream("content", chineseText);System.out.println("IKAnalyzer中文分词器 细粒度切分&#xff0c;中文分词效果&#xff1a;");doToken(ts);}// IKAnalyzer 智能切分try (Analyzer ik &#61; new IKAnalyzer4Lucene7(true);) {TokenStream ts &#61; ik.tokenStream("content", etext);System.out.println("IKAnalyzer中文分词器 智能切分&#xff0c;英文分词效果&#xff1a;");doToken(ts);ts &#61; ik.tokenStream("content", chineseText);System.out.println("IKAnalyzer中文分词器 智能切分&#xff0c;中文分词效果&#xff1a;");doToken(ts);}}
}

 运行结果&#xff1a;


IKAnalyzer中文分词器 细粒度切分&#xff0c;英文分词效果&#xff1a;
analysis
|is|one|of|the|main|causes|of|slow|indexing.|indexing|simply|put|the|more|you|analyze|the|slower|analyze|the|indexing|in|most|cases|
IKAnalyzer中文分词器 细粒度切分&#xff0c;中文分词效果&#xff1a;
张三
|三|说的|的确|的|确实|实在|在理|
IKAnalyzer中文分词器 智能切分&#xff0c;英文分词效果&#xff1a;
analysis
|is|one|of|the|main|causes|of|slow|indexing.|simply|put|the|more|you|analyze|the|slower|analyze|the|indexing|in|most|cases|
IKAnalyzer中文分词器 智能切分&#xff0c;中文分词效果&#xff1a;
张三
|说的|确实|在理|


三、扩展 IKAnalyzer的停用词和新词


扩展 IKAnalyzer的停用词

1、在类目录下创建IK的配置文件&#xff1a;IKAnalyzer.cfg.xml

2、在配置文件中增加配置扩展停用词文件的节点&#xff1a; my_ext_stopword.dic 如有多个&#xff0c;以“;”间隔


xml version&#61;"1.0" encoding&#61;"UTF-8"?>
DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties> <comment>IK Analyzer 扩展配置comment><entry key&#61;"ext_stopwords">my_ext_stopword.dicentry>
properties>

 

3、在类目录下创建我们的扩展停用词文件 my_ext_stopword.dic&#xff0c;编辑该文件加入停用词&#xff0c;一行一个

 

4、目录结构如下&#xff1a;

5.新建测试类ExtendedIKAnalyzerDicTest.java


package com.study.lucene.ikanalyzer.Integrated.ext;import java.io.IOException;import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;import com.study.lucene.ikanalyzer.Integrated.IKAnalyzer4Lucene7;/*** 扩展 IKAnalyzer的词典测试* **/
public class ExtendedIKAnalyzerDicTest {private static void doToken(TokenStream ts) throws IOException {ts.reset();CharTermAttribute cta &#61; ts.getAttribute(CharTermAttribute.class);while (ts.incrementToken()) {System.out.print(cta.toString() &#43; "|");}System.out.println();ts.end();ts.close();}public static void main(String[] args) throws IOException {String chineseText &#61; "厉害了我的国一经播出&#xff0c;受到各方好评&#xff0c;强烈激发了国人的爱国之情、自豪感&#xff01;";// IKAnalyzer 细粒度切分try (Analyzer ik &#61; new IKAnalyzer4Lucene7();) {TokenStream ts &#61; ik.tokenStream("content", chineseText);System.out.println("IKAnalyzer中文分词器 细粒度切分&#xff0c;中文分词效果&#xff1a;");doToken(ts);}// IKAnalyzer 智能切分try (Analyzer ik &#61; new IKAnalyzer4Lucene7(true);) {TokenStream ts &#61; ik.tokenStream("content", chineseText);System.out.println("IKAnalyzer中文分词器 智能切分&#xff0c;中文分词效果&#xff1a;");doToken(ts);}}
}

运行结果&#xff1a;

未加停用词之前&#xff1a;

加停用词之后&#xff1a;


扩展 IKAnalyzer的新词&#xff1a;

1、在类目录下IK的配置文件&#xff1a;IKAnalyzer.cfg.xml 中增加配置扩展词文件的节点&#xff1a; ext.dic 如有多个&#xff0c;以“;”间隔


xml version&#61;"1.0" encoding&#61;"UTF-8"?>
DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties> <comment>IK Analyzer 扩展配置comment><entry key&#61;"ext_dict">ext.dicentry> <entry key&#61;"ext_stopwords">my_ext_stopword.dicentry>
properties>

 

2、在类目录下创建扩展词文件 ext.dic&#xff0c;编辑该文件加入新词&#xff0c;一行一个

3、目录结构如下&#xff1a;

4.运行前面的测试类测试类ExtendedIKAnalyzerDicTest.java查看运行效果

运行结果&#xff1a;

未加新词之前&#xff1a;

加新词之后&#xff1a;

 

源码获取地址&#xff1a;

https://github.com/leeSmall/SearchEngineDemo 

 


推荐阅读
  • 本文介绍了如何通过 Maven 依赖引入 SQLiteJDBC 和 HikariCP 包,从而在 Java 应用中高效地连接和操作 SQLite 数据库。文章提供了详细的代码示例,并解释了每个步骤的实现细节。 ... [详细]
  • Scala 实现 UTF-8 编码属性文件读取与克隆
    本文介绍如何使用 Scala 以 UTF-8 编码方式读取属性文件,并实现属性文件的克隆功能。通过这种方式,可以确保配置文件在多线程环境下的一致性和高效性。 ... [详细]
  • Explore how Matterverse is redefining the metaverse experience, creating immersive and meaningful virtual environments that foster genuine connections and economic opportunities. ... [详细]
  • 本文介绍了Java并发库中的阻塞队列(BlockingQueue)及其典型应用场景。通过具体实例,展示了如何利用LinkedBlockingQueue实现线程间高效、安全的数据传递,并结合线程池和原子类优化性能。 ... [详细]
  • 1.如何在运行状态查看源代码?查看函数的源代码,我们通常会使用IDE来完成。比如在PyCharm中,你可以Ctrl+鼠标点击进入函数的源代码。那如果没有IDE呢?当我们想使用一个函 ... [详细]
  • 本文详细解析了Python中的os和sys模块,介绍了它们的功能、常用方法及其在实际编程中的应用。 ... [详细]
  • 本文探讨了 Objective-C 中的一些重要语法特性,包括 goto 语句、块(block)的使用、访问修饰符以及属性管理等。通过实例代码和详细解释,帮助开发者更好地理解和应用这些特性。 ... [详细]
  • 本文介绍如何使用阿里云的fastjson库解析包含时间戳、IP地址和参数等信息的JSON格式文本,并进行数据处理和保存。 ... [详细]
  • andr ... [详细]
  • 本文详细介绍了如何解决MyBatis中常见的BindingException错误,提供了多种排查和修复方法,确保Mapper接口与XML文件的正确配置。 ... [详细]
  • 本文详细介绍了 Dockerfile 的编写方法及其在网络配置中的应用,涵盖基础指令、镜像构建与发布流程,并深入探讨了 Docker 的默认网络、容器互联及自定义网络的实现。 ... [详细]
  • 本文深入探讨了 Java 中的 Serializable 接口,解释了其实现机制、用途及注意事项,帮助开发者更好地理解和使用序列化功能。 ... [详细]
  • DNN Community 和 Professional 版本的主要差异
    本文详细解析了 DotNetNuke (DNN) 的两种主要版本:Community 和 Professional。通过对比两者的功能和附加组件,帮助用户选择最适合其需求的版本。 ... [详细]
  • UNP 第9章:主机名与地址转换
    本章探讨了用于在主机名和数值地址之间进行转换的函数,如gethostbyname和gethostbyaddr。此外,还介绍了getservbyname和getservbyport函数,用于在服务器名和端口号之间进行转换。 ... [详细]
  • 本文介绍了如何在C#中启动一个应用程序,并通过枚举窗口来获取其主窗口句柄。当使用Process类启动程序时,我们通常只能获得进程的句柄,而主窗口句柄可能为0。因此,我们需要使用API函数和回调机制来准确获取主窗口句柄。 ... [详细]
author-avatar
朱仔happy
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有