HanLP地名识别调试方法

HanLP收词特别是实体比较多&＃xff0c;因此特别容易造成误识别。下边举几个地名误识别的例子&＃xff0c;需要指出的是&＃xff0c;后边的机构名识别也以地名识别为基础&＃xff0c;因此&＃xff0c;如果地名识别不准确&＃xff0c;也会导致机构名识别不准确。

类型1 数字&＃43;地名

[1] 暗访哈尔滨网约车&＃xff1a;下10单来7辆“黑车” 1辆套牌

[2] 房天下每日成交5月12日海宁商品房销售备案43套

广西近视手术专家-黄明汉院长9月9日百色见面会

类型2 前词&＃43;地名首词成词或地名尾词&＃43;后词成词

[1] 西安国企4000元工资相当于私企多少钱&＃xff1f;

[2] 七月份从包头到山东&＃xff0c;十五天左右&＃xff0c;有自驾游路线推荐吗&＃xff1f;

[3] 最受考研人欢迎的城市&＃xff0c;有你报考高校所在的城市吗&＃xff1f;

类型3 地名本身成词

[1] 滴滴司机接跨省天价订单 乘客半路改道至今未付款

[2] 上联&＃xff1a;山水不曾随我老&＃xff0c;如何对下联&＃xff1f;

[3] 上联&＃xff1a;柳着金妆闲钓水&＃xff0c;如何对下联&＃xff1f;

Badcase分析及修正

下边介绍一下排查误判原因以及修正的方法

首先需要明确以下几点注意事项

1.实体识别受分词精度影响。

2.实体识别同样涉及消歧的问题。

3.HanLP收录了一些不常见的实体词&＃xff0c;会造成错误率升高。

4.HanLP基于隐马的命名实体识召回率没有特别要求的话&＃xff0c;不需要再去训练。

这里我们以下边这个badcase的分析过程为例来说明

[5] 上联&＃xff1a;山水不曾随我老&＃xff0c;如何对下联&＃xff1f;

打开提示模式 HanLP.Config.enableDebug()

运行人名识别代码

# HanLP命名实体识别

def hanlp_ner(text, ner_type):

    global segment

    ner_li &＃61; []

    for term in segment.seg(text):

        if str(term.nature) &＃61;&＃61; ner_type:

            ner_li.append(str(term.word))

    return ner_li

这里ner_type为你要识别的实体类型&＃xff0c;如果是人名则ner_type&＃61;&＃39;nr&＃39;&＃xff0c;地名ner_type&＃61;&＃39;ns&＃39;&＃xff0c;机构名ner_type&＃61;&＃39;nt&＃39;。text为要抽取实体的文本。

识别结果&＃xff0c;这里为了清晰&＃xff0c;只截取了部分输出。

粗分结果[上联/n, &＃xff1a;/w, 山水/n, 不/d, 曾随/ns, 我/rr, 老/a, &＃xff0c;/w, 如何/ryv, 对/p, 下联/n, &＃xff1f;/w]

地名角色观察&＃xff1a;[  S 1163565 ][上联 Z 20211628 ][&＃xff1a; A 2701 B 439 X 11 ][山水 B 6 A 1 ][不 B 214 A 3 C 3 ][曾随 G 1 H 1 ]

[我 A 47 B 26 ][老 C 274 A 75 B 66 D 2 X 2 ][&＃xff0c; A 40525 B 10497 X 418 ][如何 B 44 ][对 A 2896 B 454 X 215 ][下联 Z 20211628 ][&＃xff1f; B 82 ][  B 1322 ]

地名角色标注&＃xff1a;[ /S ,上联/Z ,&＃xff1a;/B ,山水/A ,不/C ,曾随/H ,我/B ,老/B ,&＃xff0c;/A ,如何/B ,对/A ,下联/Z ,&＃xff1f;/B , /S]

识别出地名&＃xff1a;不曾随 CH

hanlp_ns [&＃39;不曾随&＃39;]

显然&＃xff0c;曾随被认为是地名了&＃xff0c;而且粗分结果表示的是未经地名识别模块分词和词性标注的结果&＃xff0c;显然这是由于词表导致的。由于没有经过地名识别模块&＃xff0c;所以不需要去地名的发射词表ns.txt中去找词语&＃xff0c;只需要看核心词表CoreNatureDictionary.txt中去找

显然&＃xff0c;在核心词表中“曾随“被标记为一个地名&＃xff0c;把”曾随“从词表中删除掉&＃xff0c;并删除词表文件CoreNatureDictionary.txt.bin&＃xff0c;之后再次运行程序得到下边的输出结果

hanlp_ns []

从这个实例&＃xff0c;我们也可以看出一些不常见地名如果做成地名词表&＃xff0c;就有导致错误识别实体。因此&＃xff0c;我们应该保留一份评测语料&＃xff0c;每当修改了实体词表后&＃xff0c;需要跑一下测试语料查看准确率&＃xff0c;如果降低的太多&＃xff0c;则表示这样加进来是不可行的。同时填加的实体名也有可能会造成分词错误。

下边说明一下HanLP中有关实体的词表文件名

1.CoreNatureDictionary.mini.txt

2.CoreNatureDictionary.txt

3.CustomDictionary.txt

4.机构名词典.txt

5.全国地名大全.txt

6.人名词典.txt

7.上海地名.txt

8.现代汉语补充词库.txt

9.ns.txt

10.nr.txt

11.nt.txt

当然这里列出的是通常最有可能导致误识别的词表&＃xff0c;如果这些词表都没有找到&＃xff0c;还需要在HanLP其他词典文件中寻找。

希望今天的内容对使用HanLP并对隐马情有独钟的小伙伴有帮助。这两天的一点小体会是&＃xff0c;实体识别其实跟分词是密不可分的&＃xff0c;两者都有共同的处理难点&＃xff0c;比如词义消歧&＃xff08;边界的确定&＃xff09;&＃xff0c;词法分析其实才是真正的NLP的内容之一&＃xff0c;而词法分析跟机器学习其实没有太大关系。上边的badcase解决方法不是根本方法&＃xff0c;直接去除掉某些词&＃xff0c;会导致一些生僻实体识别不出来。我们是否可以考虑左右信息熵之类的测度函数来解决这种词是否需要拆开与其前后构成词。针对词法分析推荐大家使用深度学习的方法&＃xff0c;毕竟了解这些方法也是必须的&＃xff0c;虽然你可以在实际种不用&＃xff0c;但是不代表你可以偷懒而不去学习。