javajcseg官网_Jcseg轻量级中文分词器发布2.6.2Java轻量级开源自然语言处理包...

Jcseg是基于mmseg算法的一个轻量级中文分词器&＃xff0c;是Java轻量级开源自然语言处理包。同时集成了关键字提取&＃xff0c;关键短语提取&＃xff0c;关键句子提取和文章自动摘要等功能&＃xff0c;并且提供了一个基于Jetty的web服务器&＃xff0c;方便各大语言直接http调用&＃xff0c;同时提供了最新版本的lucene&＃xff0c;solr和elasticsearch的分词接口&＃xff01;

2.6.2版本主要更新内容如下&＃xff1a;

1&＃xff0c;升级到对lucene 8.20&＃xff0c;solr 8.2.0和Elasticsearch的7.4.2版本的支持&＃xff0c;Gitee搜索目前用的Elasticseach 7.4.2版本。

2&＃xff0c;增加solr和elasticsearch索引级别的分词配置&＃xff0c;可以不同索引使用不同的分词配置&＃xff0c;具体可以参考Gitee搜索资源分享中的mapping&＃xff1a;https://gitee.com/oschina/gitee-search-share。

3&＃xff0c;部分已有词库的优化&＃xff0c;拼音&＃xff0c;词性&＃xff0c;同义词等。

4&＃xff0c;二次切分优化&＃xff0c;增加中英混合词的的二次切分支持。

5&＃xff0c;增加n-gram切分模式&＃xff0c;可以自定义n&＃xff0c;实现n-gram的切分&＃xff0c;例如&＃xff1a;”中文分词“ 1-gram会被切分成”中 文 分 词“&＃xff0c;此功能在Gitee的搜索提示中用到了。

6&＃xff0c;增加英文词条的切分&＃xff0c;大部分的分词器对于英文都只是通过空格或者标点来切分&＃xff0c;这个版本jcseg增加了对英文的切分&＃xff0c;同时也是通过mmseg算法来去除歧义&＃xff0c;例如&＃xff1a;

英文组合词条&＃xff1a;jcseg~tokenizer:complex>> openarkcompiler

分词结果&＃xff1a;

open[0,4]/n ark[4,3]/n compiler[7,8]/n

Done, total:15, tokens:3, in 0.00000sec

例如Gitee搜索”openark“&＃xff1a;https://search.gitee.com/?q&＃61;openark&skin&＃61;rec&type&＃61;repository

拼音组合词条&＃xff1a;jcseg~tokenizer:complex>> guanyuwomen

分词结果&＃xff1a;

guanyu[0,6]/p women[6,5]/n

Done, total:11, tokens:2, in 0.00105sec

例如&＃xff1a;Gitee搜索"中文huancunxitong"&＃xff1a;https://search.gitee.com/?q&＃61;huancunxitong&skin&＃61;rec&type&＃61;repository

7&＃xff0c;增加英文词库和拼音词库&＃xff0c;用于支撑上述的英文切分&＃xff0c;这个英文也包括拼音的切分&＃xff0c;例如&＃xff1a;Gitee搜索的拼音和汉语相互搜索&＃xff1a;

搜索”fenci“: https://search.gitee.com/?q&＃61;fenci&skin&＃61;rec&type&＃61;repository

搜索”分词“: https://search.gitee.com/?q&＃61;%E5%88%86%E8%AF%8D&skin&＃61;rec&type&＃61;repository

搜索”中文分词“&＃xff1a;https://search.gitee.com/?q&＃61;%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D&skin&＃61;rec&type&＃61;repository

搜索”中文fenci“&＃xff1a;https://search.gitee.com/?q&＃61;%E4%B8%AD%E6%96%87fenci&skin&＃61;rec&type&＃61;repository

8&＃xff0c;同义词优化&＃xff0c;同义词词库和offset逻辑无缝对接lucene的increasement设计&＃xff0c;便于实现同义词的检索和高亮&＃xff0c;例如&＃xff1a;Gitee搜索的同义词效果如下&＃xff1a;

搜索”中文分词“&＃xff1a;https://search.gitee.com/?q&＃61;%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D&skin&＃61;rec&type&＃61;repository

搜索”汉语分词“&＃xff1a;https://search.gitee.com/?q&＃61;%E6%B1%89%E8%AF%AD%E5%88%86%E8%AF%8D&skin&＃61;rec&type&＃61;repository

搜索”普通话分词“&＃xff1a;https://search.gitee.com/?q&＃61;%E6%99%AE%E9%80%9A%E8%AF%9D%E5%88%86%E8%AF%8D&skin&＃61;rec&type&＃61;repository

9&＃xff0c;更改了Jcseg的API设计&＃xff0c;使用函数接口来代替部分的class查找&＃xff0c;使用更方便&＃xff0c;API变更为如下&＃xff1a;//创建SegmenterConfig分词配置实例&＃xff0c;自动查找加载jcseg.properties配置项来初始化

SegmenterConfig config &＃61; new SegmenterConfig(true);

//创建默认单例词库实现&＃xff0c;并且按照config配置加载词库

ADictionary dic &＃61; DictionaryFactory.createSingletonDictionary(config);

//依据给定的ADictionary和SegmenterConfig来创建ISegment

//为了Api往后兼容&＃xff0c;建议使用SegmentFactory来创建ISegment对象

ISegment seg &＃61; ISegment.COMPLEX.factory.create(config, dic);

//备注&＃xff1a;以下代码可以反复调用&＃xff0c;seg为非线程安全

//设置要被分词的文本

String str &＃61; "研究生命起源。";

seg.reset(new StringReader(str));

//获取分词结果

IWord word &＃61; null;

while ( (word &＃61; seg.next()) !&＃61; null ) {

System.out.println(word.getValue());

}

10&＃xff0c;BUG修复&＃xff1a;

英文切分的offset问题&＃xff1a;https://gitee.com/lionsoul/jcseg/issues/I19IQ4

NLP日期实体识别问题&＃xff1a;https://gitee.com/lionsoul/jcseg/issues/I17DMS

maven仓库(中央仓库同步中...)&＃xff1a;org.lionsouljcseg-core2.6.2