热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

solr分词一:mmseg4j

刚接触Lucene2.x和Solr2.x的时候,谈到中文分词,会让我立即想到用庖丁中文分词,庖丁中文分词因巨大的中文词库以及支持不限制个数的用户自定义词库,而且是纯文本格式,一行一

   刚接触Lucene2.x和Solr2.x的时候,谈到中文分词,会让我立即想到用庖丁中文分词,庖丁中文分词因巨大的中文词库以及支持不限制个数的用户自定义词库,而且是纯文本格式,一行一词,使用后台线程检测词库的更新,自动编译更新过的词库到二进制版本而出名。

             几年过去了,Lucene和Solr都发展到了4.7.x版本,重拾中文分词,发现庖丁中文分词不再是首选,mmseg4j是更佳的选择。

             mmseg4j支持最多分词,是一款很优秀的中文分词器,是用Chih-Hao Tsai 的 MMSeg 算法( http://technology.chtsai.org/mmseg/ )实现的中文分词器,并实现 lucene 的analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。 

             要想在Solr中整合mmseg4j其实很容易,只需要如下几个步骤

1、下载( https://code.google.com/p/mmseg4j/downloads/list )并解压mmseg4j-1.9.1.zip,把dist下面的所有jar文件拷贝到你应用服务器下的 solr /WEB-INF/lib中。(如果你的应用服务器下面没有 solr ,请参考《Tomcat中安装Solr》)。

有3个jar文件:mmseg4j-analysis-1.9.1.jar, mmseg4j-core-1.9.1.jar,mmseg4j-solr-1.9.1.jar。

顺便提下,如果是在mmseg4j-1.9.0前, 则需要copy data目录到solr_home/solr中(与core平级),并改名为dic。进入到你想使用mmseg4j分词器的core中(此处以solr自带的collection1为例),用编辑器打开collection1/conf/schema.xml配置文件,添加如下代码:


 <fieldType name="text_mmseg4j" class="solr.TextField" >
 <analyzer type="index">
 <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="../dic" />
 analyzer>
 <analyzer type="query">
 <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="../dic" />
 analyzer>
 fieldType>

2、 在mmseg4j-1.9.0后,如本例的mmseg4j-1.9.1中 ,就 可以不用 dicPath 参数,可以使用 mmseg4j-core-1.9.0.jar 里的 words.dic ,在Schema.xml中加入如下配置


  <fieldType name="text_mmseg4j_complex" class="solr.TextField" positiOnIncrementGap="100" >  
    <analyzer>  
      <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="dic"/>  
    analyzer>  
  fieldType>  
  <fieldType name="text_mmseg4j_maxword" class="solr.TextField" positiOnIncrementGap="100" >  
    <analyzer>  
      <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="dic"/>  
    analyzer>  
  fieldType>  
  <fieldType name="text_mmseg4j_simple" class="solr.TextField" positiOnIncrementGap="100" >  
    <analyzer>  
      
      <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="dic"/>	 
    analyzer>  
  fieldType>
  

3、引用mmseg4j分词器

只需要在该schema.xml中加入如下配置便可引用对应的mmseg4j分词器

<field name="mmseg4j_complex_name" type="text_mmseg4j_complex" indexed="true" stored="true"/>
   <field name="mmseg4j_maxword_name" type="text_mmseg4j_maxword" indexed="true" stored="true"/>
   <field name="mmseg4j_simple_name" type="text_mmseg4j_simple" indexed="true" stored="true"/>

通过以上步骤就可以成功配置mmseg4j分词器到solr中了。

然后就可以打开Solr Admin的Page进行分词分析了。但当输入中文(华南理工大学)并点击“Analyse Values”进行分析时,会发现如下的错误:  TokenStream contract violation: reset()/close() call missing, reset() called multiple times, or subclass does not call super.reset(). Please see Javadocs of TokenStream class for more information about the correct consuming workflow.


技术分享
该原因是源码的一个bug引起的,需要修改上面下载的mmseg4j-analysis-1.9.1.zip解压后的mmseg4j-analysis目录下的类:MMSegTokenizer.java,修改reset()方法并加上下面注释中的这一句

public void reset() throws IOException {
    //lucene 4.0
    //org.apache.lucene.analysis.Tokenizer.setReader(Reader)
    //setReader 自动被调用, input 自动被设置。
    super.reset();   //加这一句
    mmSeg.reset(input);
  }

修改后运行mvn clean package -DskipTests进行打包得到最新的mmseg4j-analysis-1.9.1.jar 并替换Tomcat下的solr下的WEB-INF/lib下的mmseg4j-analysis-1.9.1.jar。

重新启动Tomcat并访问Solr Admin Page,并在“Analysis”中输入中文进行分析,可以看到已经成功的进行分析。


技术分享
 

这样这个Bug就解决了。

另外,mmseg4j中文分词和庖丁中文分词的对比效果可以参照下面的结果,从结果可以看出,mmseg4j比起庖丁中文分词来说,是更好的选择。

paoding 分词效果:

  1. --------------------------  
  2. 清华大学  
  3. 清华 | 大 | 华大 | 大学 |  
  4. --------------------------  
  5. 华南理工大学  
  6. 华南 | 理工 | 大 | 大学 |  
  7. --------------------------  
  8. 广东工业大学  
  9. 广东 | 工业 | 大 | 业大 | 大学 |  
  10. --------------------------  
  11. 西伯利亚  
  12. 西伯 | 伯利 | 西伯利亚 |  
  13. --------------------------  
  14. 研究生命起源  
  15. 研究 | 研究生 | 生命 | 起源 |  
  16. --------------------------  
  17. 为首要考虑  
  18. 为首 | 首要 | 考虑 |  
  19. --------------------------  
  20. 化装和服装  
  21. 化装 | 和服 | 服装 |  
  22. --------------------------  
  23. 中国人民银行  
  24. 中国 | 国人 | 人民 | 银行 |  
  25. --------------------------  
  26. 中华人民共和国  
  27. 中华 | 华人 | 人民 | 共和 | 共和国 |  
  28. --------------------------  
  29. 羽毛球拍  
  30. 羽毛 | 羽毛球 | 球拍 |  
  31. --------------------------  
  32. 人民币  
  33. 人民 | 人民币 |  
  34. --------------------------  
  35. 很好听  
  36. 很好 | 好听 |  
  37. --------------------------  
  38. 下一个  
  39. 下一 | 一个 |  
  40. --------------------------  
  41. 为什么  
  42. 为什么 |  
  43. --------------------------  
  44. 北京首都机场  
  45. 北京 | 首都 | 机场 |  
  46. --------------------------  
  47. 东西已经拍卖了  
  48. 东西 | 已经 | 拍卖 | 卖了 |  
  49. --------------------------  
  50. 主人因之生气  
  51. 主人 | 生气 |  
  52. --------------------------  
  53. 虽然某些动物很凶恶  
  54. 动物 | 凶恶 |  
  55. --------------------------  
  56. 朋友真背叛了你了  
  57. 朋友 | 真 | 背叛 |  
  58. --------------------------  
  59. 建设盒蟹社会  
  60. 建设 | 盒蟹 | 社会 |  
  61. --------------------------  
  62. 建设盒少蟹社会  
  63. 建设 | 盒少 | 少蟹 | 社会 |  
  64. --------------------------  
  65. 我们家门前的大水沟很难过。  
  66. 我们 | 家门 | 前 | 门前 | 前的 | 大 | 大水 | 水沟 | 很难 | 难过 |  
  67. --------------------------  
  68. 罐头不如果汁营养丰富。  
  69. 罐头 | 不如 | 如果 | 果汁 | 营养 | 丰富 |  
  70. --------------------------  
  71. 今天真热,是游泳的好日子。  
  72. 今天 | 天真 | 热 | 游泳 | 日子 | 好日子 |  
  73. --------------------------  
  74. 妹妹的数学只考十分,真丢脸。  
  75. 妹妹 | 数学 | 只考 | 十分 | 真 | 丢脸 |  
  76. --------------------------  
  77. 我做事情,都是先从容易的做起。  
  78. 做事 | 事情 | 都是 | 先从 | 从容 | 容易 | 容易的 | 做起 |  
  79. --------------------------  
  80. 老师说明天每个人参加大队接力时,一定要尽力。  
  81. 老师 | 师说 | 说明 | 明天 | 每个 | 个人 | 人参 | 参加 | 大 | 加大 | 大队 | 接力 | 时 | 一定 | 定要 | 要尽 | 尽力 |  
  82. --------------------------  
  83. 小明把大便当作每天早上起床第一件要做的事  
  84. 小明 | 大 | 大便 | 便当 | 当作 | 每天 | 早上 | 上起 | 起床 | 床第 | 第一 | 一件 | 要做 | 做的 | 的事 |   

mmseg4j maxword 分词效果:

  1. --------------------------  
  2. 清华大学  
  3. 清华 | 大学 |  
  4. --------------------------  
  5. 华南理工大学  
  6. 华南 | 理工 | 工大 | 大学 |  
  7. --------------------------  
  8. 广东工业大学  
  9. 广东 | 工业 | 大学 |  
  10. --------------------------  
  11. 西伯利亚  
  12. 西 | 伯利 | 利亚 |  
  13. --------------------------  
  14. 研究生命起源  
  15. 研究 | 生命 | 起源 |  
  16. --------------------------  
  17. 为首要考虑  
  18. 为首 | 要 | 考虑 |  
  19. --------------------------  
  20. 化装和服装  
  21. 化装 | 和 | 服装 |  
  22. --------------------------  
  23. 中国人民银行  
  24. 中国 | 国人 | 人民 | 银行 |  
  25. --------------------------  
  26. 中华人民共和国  
  27. 中华 | 华人 | 人民 | 共和 | 国 |  
  28. --------------------------  
  29. 羽毛球拍  
  30. 羽毛 | 球拍 |  
  31. --------------------------  
  32. 人民币  
  33. 人民 | 币 |  
  34. --------------------------  
  35. 很好听  
  36. 很好 | 好听 |  
  37. --------------------------  
  38. 下一个  
  39. 下一 | 一个 |  
  40. --------------------------  
  41. 为什么  
  42. 为 | 什么 |  
  43. --------------------------  
  44. 北京首都机场  
  45. 北京 | 首都 | 机场 |  
  46. --------------------------  
  47. 东西已经拍卖了  
  48. 东西 | 已经 | 拍卖 | 了 |  
  49. --------------------------  
  50. 主人因之生气  
  51. 主人 | 因 | 之 | 生气 |  
  52. --------------------------  
  53. 虽然某些动物很凶恶  
  54. 虽然 | 某些 | 动物 | 很 | 凶恶 |  
  55. --------------------------  
  56. 朋友真背叛了你了  
  57. 朋友 | 真 | 背叛 | 了 | 你了 |  
  58. --------------------------  
  59. 建设盒蟹社会  
  60. 建设 | 盒 | 蟹 | 社会 |  
  61. --------------------------  
  62. 建设盒少蟹社会  
  63. 建设 | 盒 | 少 | 蟹 | 社会 |  
  64. --------------------------  
  65. 我们家门前的大水沟很难过。  
  66. 我们 | 家 | 门前 | 的 | 大水 | 水沟 | 很难 | 过 |  
  67. --------------------------  
  68. 罐头不如果汁营养丰富。  
  69. 罐头 | 不如 | 果汁 | 营养 | 丰富 |  
  70. --------------------------  
  71. 今天真热,是游泳的好日子。  
  72. 今天 | 天真 | 热 | 是 | 游泳 | 的 | 好 | 日子 |  
  73. --------------------------  
  74. 妹妹的数学只考十分,真丢脸。  
  75. 妹妹 | 的 | 数学 | 只 | 考 | 十分 | 真 | 丢脸 |  
  76. --------------------------  
  77. 我做事情,都是先从容易的做起。  
  78. 我做 | 事情 | 都是 | 先 | 从容 | 易 | 的 | 做起 |  
  79. --------------------------  
  80. 老师说明天每个人参加大队接力时,一定要尽力。  
  81. 老师 | 师说 | 明天 | 每个 | 个人 | 参加 | 大队 | 接力 | 时 | 一定 | 要 | 尽力 |  
  82. --------------------------  
  83. 小明把大便当作每天早上起床第一件要做的事  
  84. 小明 | 把 | 大便 | 当作 | 每天 | 早上 | 起床 | 第一 | 一件 | 要做 | 的 | 事 |   

paoding 几乎把所有的子词都拆出来,有时候还有最长的词,还没搞懂“华南理工大学”会分出“大”;mmseg4j 的 maxword 是在 complex分词后的结果再把子词都拆出来。

如“化装和服装” mmseg4j 的 complex是可以较好的分出来(“化装 | 和 | 服装”),而 paoding 少了字频的信息,比较难到这事。mmseg4j complex 也有个缺点:“都是先从容易的做起” 不能把“容易”分出来,这是因为 mmseg 算法是用 3 个chunk的原因,我认为把整句的 chunk (还是仅仅3个chunk)来处理的话,分词效果要好),当然要更多的开销,选3个可能是效果与性能平衡吧。

mmseg4j 没有加任何 stopword,这东西留给使用者自己加,因为我不认为加 stopword 是好的方法。如音乐搜索,给加上 the,this……,还能找到歌曲?

当然分词效果还与词库有关,sogou 的词库是统计得出,有些高频的单字组合也成了词,如“我们的”。如果还要提高 mmseg4j 的分词效果,还要在整理下词库。

mmseg4j中的词库: (强制使用 UTF-8):

    • data/chars.dic 是单字与语料中的频率,一般不用改动,1.5版本中已经加到mmseg4j的jar里了,我们不需要关心它,当然你在词库目录放这个文件可以覆盖它。
    • data/units.dic 是单字的单位,默认读jar包里的,你也可以自定义覆盖它,这个功能是试行,如果不喜欢它,可以用空的units.dic文件(放到你的词库目录下)覆盖它。
    • data/words.dic 是词库文件,一行一词,当然你也可以使用自己的,1.5版本使用 sogou 词库,1.0的版本是用 rmmseg 自带的词库。
    • data/wordsxxx.dic 1.6版支持多个词库文件,data 目录(或你定义的目录)下读到"words"前缀且".dic"为后缀的文件。如:data/words-my.dic。
    • 由于 utf-8 文件有带与不带 BOM 之分,建议词库第一行为空行或为无 BOM 格式的 utf-8 文件。

solr分词一:mmseg4j


推荐阅读
  • 解决Bootstrap DataTable Ajax请求重复问题
    在最近的一个项目中,我们使用了JQuery DataTable进行数据展示,虽然使用起来非常方便,但在测试过程中发现了一个问题:当查询条件改变时,有时查询结果的数据不正确。通过FireBug调试发现,点击搜索按钮时,会发送两次Ajax请求,一次是原条件的请求,一次是新条件的请求。 ... [详细]
  • 第二十五天接口、多态
    1.java是面向对象的语言。设计模式:接口接口类是从java里衍生出来的,不是python原生支持的主要用于继承里多继承抽象类是python原生支持的主要用于继承里的单继承但是接 ... [详细]
  • 解决Parallels Desktop错误15265的方法
    本文详细介绍了在使用Parallels Desktop时遇到错误15265的多种解决方案,包括检查网络连接、关闭代理服务器和修改主机文件等步骤。 ... [详细]
  • 在 LeetCode 的“有效回文串 II”问题中,给定一个非空字符串 `s`,允许删除最多一个字符。本篇深入解析了如何判断删除一个字符后,字符串是否能成为回文串,并提出了高效的优化算法。通过详细的分析和代码实现,本文提供了多种解决方案,帮助读者更好地理解和应用这一算法。 ... [详细]
  • MySQL的查询执行流程涉及多个关键组件,包括连接器、查询缓存、分析器和优化器。在服务层,连接器负责建立与客户端的连接,查询缓存用于存储和检索常用查询结果,以提高性能。分析器则解析SQL语句,生成语法树,而优化器负责选择最优的查询执行计划。这一流程确保了MySQL能够高效地处理各种复杂的查询请求。 ... [详细]
  • 本项目通过Python编程实现了一个简单的汇率转换器v1.02。主要内容包括:1. Python的基本语法元素:(1)缩进:用于表示代码的层次结构,是Python中定义程序框架的唯一方式;(2)注释:提供开发者说明信息,不参与实际运行,通常每个代码块添加一个注释;(3)常量和变量:用于存储和操作数据,是程序执行过程中的重要组成部分。此外,项目还涉及了函数定义、用户输入处理和异常捕获等高级特性,以确保程序的健壮性和易用性。 ... [详细]
  • 浏览器作为我们日常不可或缺的软件工具,其背后的运作机制却鲜为人知。本文将深入探讨浏览器内核及其版本的演变历程,帮助读者更好地理解这一关键技术组件,揭示其内部运作的奥秘。 ... [详细]
  • 深入解析:Synchronized 关键字在 Java 中对 int 和 Integer 对象的作用与影响
    深入探讨了 `Synchronized` 关键字在 Java 中对 `int` 和 `Integer` 对象的影响。尽管初看此题似乎简单,但其实质在于理解对象的概念。根据《Java编程思想》第二章的观点,一切皆为对象。本文详细分析了 `Synchronized` 关键字在不同数据类型上的作用机制,特别是对基本数据类型 `int` 和包装类 `Integer` 的区别处理,帮助读者深入理解 Java 中的同步机制及其在多线程环境中的应用。 ... [详细]
  • 虚函数表指针vptr的功能测试与分析
    类的虚函数调用依赖于虚函数表来实现。虚函数表是由编译器自动生成的一段内存区域,用于存储包含虚函数的类中每个虚函数的入口地址。这些入口地址本质上是指针类型,从而使得动态绑定成为可能。本文对虚函数表指针(vptr)的功能进行了详细的测试与分析,探讨了其在多态性和继承机制中的作用及其性能影响。 ... [详细]
  • 装饰者模式(Decorator):一种灵活的对象结构设计模式
    装饰者模式(Decorator)是一种灵活的对象结构设计模式,旨在为单个对象动态地添加功能,而无需修改原有类的结构。通过封装对象并提供额外的行为,装饰者模式比传统的继承方式更加灵活和可扩展。例如,可以在运行时为特定对象添加边框或滚动条等特性,而不会影响其他对象。这种模式特别适用于需要在不同情况下动态组合功能的场景。 ... [详细]
  • 本文详细解析了Autofac在高级应用场景中的具体实现,特别是如何通过注册泛型接口的类来优化依赖注入。示例代码展示了如何使用 `builder.RegisterAssemblyTypes` 方法,结合 `typeof(IEventHandler).Assembly` 和 `Where` 过滤条件,动态注册所有符合条件的类,从而简化配置并提高代码的可维护性。此外,文章还探讨了这一方法在复杂系统中的实际应用及其优势。 ... [详细]
  • 本指南详细介绍了如何利用华为云对象存储服务构建视频点播(VoD)平台。通过结合开源技术如Ceph、WordPress、PHP和Nginx,用户可以高效地实现数据存储、内容管理和网站搭建。主要内容涵盖华为云对象存储系统的配置步骤、性能优化及安全设置,为开发者提供全面的技术支持。 ... [详细]
  • VS2019 在创建 Windows 恢复点时出现卡顿问题及解决方法
    在使用 Visual Studio 2019 时,有时会在创建 Windows 恢复点时遇到卡顿问题。这可能是由于频繁的自动更新导致的,每次更新文件大小可能达到 1-2GB。尽管现代网络速度较快,但这些更新仍可能对系统性能产生影响。本文将探讨该问题的原因,并提供有效的解决方法,帮助用户提升开发效率。 ... [详细]
  • 为了提升单位内部沟通效率,我们开发了一套飞秋软件与OA系统的消息接口服务系统。该系统能够将OA系统中的审批、通知等信息自动同步至飞秋平台,确保员工在使用飞秋进行日常沟通的同时,也能及时获取OA系统的各类重要信息,从而实现无缝对接,提高工作效率。 ... [详细]
  • Vim 编辑器功能强大,但其默认的配色方案往往不尽如人意,尤其是注释颜色为蓝色时,对眼睛极为不友好。为了提升编程体验,自定义配色方案显得尤为重要。通过合理调整颜色,不仅可以减轻视觉疲劳,还能显著提高编码效率和兴趣。 ... [详细]
author-avatar
萧逸
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有