1. 掌握HMM的必要性
有关于隐马尔可夫模型&＃xff0c;我去年整理过一次&＃xff0c;最后应该是直接把PPT截图到CSDN里了&＃xff0c;似乎那篇文章也没有什么人看&＃xff0c;或许是因为做成PPT索引不到&＃xff0c;或许是大家对HMM没啥兴趣。但其实隐马的优势有点类似于朴素贝叶斯&＃xff0c;我们比较好做人工干预。比如在HanLP的人名识别中就是利用的隐马模型&＃xff0c;如果你对隐马基本原理没有一个清晰认识&＃xff0c;那么直接上隐马的人名识别时&＃xff0c;会有很多并非人名的词语被识别出来&＃xff0c;这时候&＃xff0c;就要利用HMM的3个概率表&＃xff0c;即发射概率表&＃xff0c;状态转移概率表&＃xff0c;初始状态表&＃xff0c;通过修改调整概率表&＃xff0c;来提高系统识别准确率。
2. HMM的缺陷
按照何晗的《自然语言处理入门》第4章所述&＃xff0c;HMM应用于分词的效果并不是特别理想&＃xff0c;特别是很多在词典中的词没有被正确识别&＃xff0c;也就是说HMM对于分词消岐并不理想&＃xff0c;作者的结论是HMM的分词效果甚至不如词典分词。作者同时也利用HanLP做了二阶HMM的分词&＃xff0c;作者的结论是增加HMM的阶数并不能提高分词器的准确率&＃xff0c;单纯靠提高转移概率矩阵的复杂度并不能提高模型的拟合能力。
3. HMM解决序列标注问题的过程
训练过程&＃xff1a;
&＃xff08;1&＃xff09;统计状态的概率分布&＃xff0c;也就是初始概率矩阵pi
以分词为例&＃xff0c;就是统计状态B、M、E、S的出现频率。其中B表示分词后词语的首字&＃xff0c;M表示分词后词语的非首非尾自&＃xff08;如果词语字数>&＃61;3&＃xff09;&＃xff0c;E表示词语的尾字&＃xff0c;S表示单字成词。比如“北京/ 信息/ 科技/ 大学”&＃xff0c;对应的状态序列为“BEBEBEBE”。我想统计符号B、M、E、S在训练语料中的出现频率这件事的公式我就不用再在这里写出了吧&＃xff1f;
&＃xff08;2&＃xff09;统计状态转移概率矩阵A
还以分词为例&＃xff0c;我们应该用训练语料统计出下边的转移概率矩阵
转移概率矩阵顾名思义&＃xff0c;就是说从一种转态到另一种状态的概率。比如训练语料中的一个词语“大学”&＃xff0c;那么该词语对应的状态序列为“BE”&＃xff0c;此时由B到E的转移次数就应该&＃43;1&＃xff0c;按照这样的统计方法&＃xff0c;就可以统计出状态转移概率矩阵A。&＃xff08;当然注意概率指的是出现次数除以总次数&＃xff0c;这里认为频率就等于概率&＃xff09;
&＃xff08;3&＃xff09;统计发射概率矩阵B
依然以分词为例&＃xff0c;发射概率就是一个状态可能对应的汉字的概率分布。就是下边的概率矩阵。
还是假设训练语料中出现了“大学”“BE”的对应关系&＃xff0c;那么由“B”状态发射出“大”这个字的次数应该&＃43;1&＃xff0c;由“E”状态发射出“学”这个字的次数应该&＃43;1&＃xff0c;按照这样的统计方法&＃xff0c;就可以统计出发射概率矩阵B。
至此&＃xff0c;我们已经利用训练语料统计出了隐马模型的所有参数&＃xff0c;也就是通常所说的三要素&＃xff0c;接下来我们介绍预测。
预测过程&＃xff1a;
&＃xff08;4&＃xff09;维特比算法
预测过程比较简单&＃xff0c;就是利用维特比算法。我们先以分词为例说明维特比要做的事情。给定一个观测的序列如“北京信息科技大学”&＃xff0c;利用维特比算法&＃xff0c;系统可以求出一个最佳的状态序列比如是“BEBEBEBE”。好&＃xff0c;就到这里&＃xff0c;你应该已经知道维特比要做的事情了。那么&＃xff0c;维特比是如何做到的呢&＃xff0c;下边我们贴出李航《统计学习方法》中的计算过程。
首先给出两个定义&＃xff1a;
接下来给出维特比算法
好了&＃xff0c;读到这里你可能不想看了&＃xff0c;没有关系&＃xff0c;我们在下一小结求解李航《统计学习方法》书中第10章的10.3题&＃xff0c;通过求解你就明白维特比的计算过程了。如果求解了这道习题&＃xff0c;还是不明白&＃xff0c;没有关系&＃xff0c;文章最后一节给出一个Python实现的简单分词器&＃xff0c;看了这段代码我想你应该了解了HMM分词的训练和预测过程了。
&＃xff08;5&＃xff09;根据状态序列执行分词
有了状态序列&＃xff0c;就可以根据状态值进行分词了。比如“北京信息科技大学”HMM模型预测出的状态序列为“BEBEBEBE”&＃xff0c;显然分词结果就是“北京/信息/科技/大学”。当然&＃xff0c;我们这个例子刚好HMM预测正确了&＃xff0c;实践过程中HMM很有可能会预测错误&＃xff0c;比如预测出“SE”这样的序列&＃xff0c;显然这两个状态不可能连续出现&＃xff0c;因此&＃xff0c;我们需要设计一定的规则将HMM输出的状态序列转换为合理的分词结果。HanLP的规则是只要遇到B或S这两个状态就切出1个词。
4. 一道例题理解HMM的训练和预测过程
&＃xff08;1&＃xff09;HMM的两个基本假设
前边我们都是以分词这个任务来叙述HMM的&＃xff0c;这里&＃xff0c;我们再回归到HMM的一些数学原理。
假设1:隐马的任一时刻状态只依赖于前一状态&＃xff0c;而与其他时刻状态无关。
假设2:隐马的任意时刻观测值只依赖于对应该时刻的状态&＃xff0c;而与其他时刻状态无关。
个人认为假设1在分词场景还是可以接受的&＃xff0c;假设2忽略了两个以上汉字成词的概率这个特征。
&＃xff08;2&＃xff09;HMM中“隐”指什么&＃xff1f;
实际上&＃xff0c;前边我们都是说的状态&＃xff0c;实际上对应于观测序列&＃xff0c;可以将状态序列称为隐含状态&＃xff0c;因为我们看到的只是汉字序列而没有看到对应于词的状态序列。
&＃xff08;3&＃xff09;例题&＃xff1a;HMM的训练过程
这道例题是李航《统计学习方法》例10.1&＃xff0c;通过这个例子&＃xff0c;再次熟悉一下HMM的术语。
你能根据题目的3个叙述&＃xff0c;写出3个概率矩阵和右侧的图吗&＃xff1f;如果可以写出&＃xff0c;那么你也就明白了HMM的训练过程。
&＃xff08;4&＃xff09;例题&＃xff1a;HMM的预测过程
显然&＃xff0c;最优状态序列为3 3 3,也就是3号盒子 3号盒子 3号盒子。
5. 基于HMM分词的Python示例
下边的代码是我用Python写的一个示例代码&＃xff0c;代码长度在200行左右&＃xff0c;希望通过该代码小伙伴们能彻底明白HMM的训练和预测过程。
#coding:utf-8
"""
基于隐马尔可夫模型的分词
"""
import codecs
import pickle
import numpy as npidx_to_state &＃61; [&＃39;b&＃39;, &＃39;m&＃39;, &＃39;e&＃39;, &＃39;s&＃39;]
state_to_idx &＃61; {&＃39;b&＃39;:0, &＃39;m&＃39;:1, &＃39;e&＃39;:2, &＃39;s&＃39;:3}
# 极大似然估计法训练模型参数
def train():# 构建字表character_set &＃61; set()with codecs.open(&＃39;RenMinData.txt_utf8&＃39;, &＃39;rb&＃39;, &＃39;utf-8&＃39;, &＃39;ignore&＃39;) as infile:for line in infile:line &＃61; line.strip()if line:word_li &＃61; line.split()if word_li:for word in word_li:if word:character_set.update(word)# 输出字表print(&＃39;输出字表...&＃39;)with open(&＃39;character_list.txt&＃39;, &＃39;wb&＃39;) as outfile:idx &＃61; 0for character in character_set:out_str &＃61; u&＃39;%dt%sn&＃39; % (idx, character)outfile.write(out_str.encode(&＃39;utf-8&＃39;, &＃39;ignore&＃39;))idx &＃43;&＃61; 1# 加载字索引以及索引字character_to_idx &＃61; dict()idx_to_character &＃61; []with codecs.open(&＃39;character_list.txt&＃39;, &＃39;rb&＃39;, &＃39;utf-8&＃39;, &＃39;ignore&＃39;) as infile:for line in infile:line &＃61; line.strip()if line:idx, character &＃61; line.split(u&＃39;t&＃39;)character_to_idx[character] &＃61; int(idx)idx_to_character.append(character)print(&＃39;加载字索引表 长度&＃61;%d&＃39; % len(character_to_idx))print(&＃39;加载索引字表 长度&＃61;%d&＃39; % len(idx_to_character))global state_li# 矩阵初始化print(&＃39;初始化模型矩阵&＃39;)A &＃61; np.zeros((len(idx_to_state), len(idx_to_state)))print(&＃39;A&＃61;n&＃39;, A)B &＃61; np.zeros((len(idx_to_state), len(idx_to_character)))print(&＃39;B.shape&＃39;, B.shape)PI &＃61; np.zeros(len(idx_to_state))print(&＃39;PI&＃61;&＃39;, PI)# 训练with codecs.open(&＃39;RenMinData.txt_utf8&＃39;, &＃39;rb&＃39;, &＃39;utf-8&＃39;, &＃39;ignore&＃39;) as infile:for line_ser, line in enumerate(infile):line &＃61; line.strip()if line:# 对句子中的每个字打状态标记word_li &＃61; line.split()character_li &＃61; []if word_li:for word in word_li:if len(word) &＃61;&＃61; 0:continueelif len(word) &＃61;&＃61; 1:character_li.append((word[0],&＃39;s&＃39;))elif len(word) &＃61;&＃61; 2:character_li.append((word[0],&＃39;b&＃39;))character_li.append((word[1], &＃39;e&＃39;))else:character_li.append((word[0], &＃39;b&＃39;))character_li.extend([(w, &＃39;m&＃39;) for w in word[1:-1]])character_li.append((word[-1], &＃39;e&＃39;))# 统计相关次数# 更新PI列表PI[state_to_idx[character_li[0][1]]] &＃43;&＃61; 1# 更新B字典for character, state in character_li:B[state_to_idx[state], character_to_idx[character]] &＃43;&＃61; 1# 更新A字典if len(character_li) >&＃61; 2:for ser_num, cur_state in enumerate([w[1] for w in character_li[:-1]]):next_state &＃61; character_li[ser_num&＃43;1][1]cur_state_idx &＃61; state_to_idx[cur_state]next_state_idx &＃61; state_to_idx[next_state]A[cur_state_idx][next_state_idx] &＃43;&＃61; 1# 计算PIPI &＃61; PI/sum(PI)# 计算Afor row_ser in range(A.shape[0]):A[row_ser,::] /&＃61; sum(A[row_ser,::])# 计算Bfor row_ser in range(B.shape[0]):B[row_ser,::] /&＃61; sum(B[row_ser, ::])# 输出PIprint("输出PI矩阵...")with open(&＃39;model_PI&＃39;, &＃39;wb&＃39;) as outfile:pickle.dump(PI, outfile)# 输出Aprint("输出A矩阵...")with open(&＃39;model_A&＃39;, &＃39;wb&＃39;) as outfile:pickle.dump(A, outfile)# 输出Bprint("输出B矩阵...")with open(&＃39;model_B&＃39;, &＃39;wb&＃39;) as outfile:pickle.dump(B, outfile)def viterbe(O, PI, A, B, str&＃61;u&＃39;&＃39;):"""viterbi算法计算HMM问题2:param O: 观测序列:param PI: 初始状态分布:param A: 状态转移矩阵:param B: 发射矩阵:return:"""# viterbi算法中初始化delta_1delta_1 &＃61; PI * B[:, 0]# viterbi算法中初始化kesi_1kesi_1 &＃61; np.zeros(PI.size, dtype&＃61;np.int)# 最优路径记录初始化kesi &＃61; np.array(kesi_1.T)# 递推delta_tplusone &＃61; delta_1.copy()for t in range(1, len(O)):max_delta_tminus_aji &＃61; np.tile(delta_tplusone, PI.size).reshape(A.shape).T * Adelta_t &＃61; np.max(max_delta_tminus_aji, 0) * B[:, O[t]]kesi_t &＃61; np.argmax(max_delta_tminus_aji, 0)kesi &＃61; np.column_stack((kesi, kesi_t.T))delta_tplusone &＃61; delta_t.copy()# 终止P_star &＃61; np.max(delta_t)i_T_star &＃61; np.argmax(kesi_t)# 最优路径回溯I_star &＃61; [i_T_star]i_tplus_star &＃61; i_T_starfor t in range(kesi.shape[1] - 1, 0, -1):i_t_star &＃61; kesi[:, t][i_tplus_star]I_star.append(i_t_star)i_tplus_star &＃61; i_t_starI_star &＃61; I_star[::-1]# 输出分词结果if str:out_str &＃61; u""state_li &＃61; [idx_to_state[w] for w in I_star]i &＃61; 0while i
这里我们给出训练语料的格式,每行1个句子&＃xff0c;词语之间以空格分隔即可。
这 是 我国 目前 最 大 的 朝鲜 民族 文化 设施 。
这 座 文化宫 建筑 面积 为 二千七百 平方米 &＃xff0c;
内部 设有 剧场 、 排 练 厅 、 舞 厅 &＃xff0c;
可 同时 容 纳 一千 多 人 参加 活动 。
&＃xff08; 新华社 电 &＃xff09; 文化 天地 空军 某地 空 导弹 旅 歌曲 创作 活跃 新华社 &＃xff10;&＃xff15; 旅 有 旅 歌 、
营 有 营 歌 、 连 有 连 歌 。
空军 某地 空 导弹 旅 开展 谱写 军 旅 歌曲 活动 &＃xff0c;
目前 所有 连 以上 单位 都 有 了 反映 自己 工作 特色 的 歌曲 。
这个 旅 是 一 支 屡 建 战功 的 部队 。
全 旅 从 &＃xff11;&＃xff19;&＃xff18;&＃xff16;年 &＃xff15;月 起 开展 了 群众性 的 谱写 旅 、 营 、 连 歌 活动 。
下边给出实现代码的github链接&＃xff0c;如有问题请大家留言。
panda2019-ai/natural_language_processinggithub.com
至此&＃xff0c;专栏中有关自然语言处理基本机器学习算法就全部介绍完毕了。我们介绍了HMM&＃xff0c;baiziyu&＃xff1a;最大熵模型 ,baiziyu&＃xff1a;条件随机场 。
京公网安备 11010802041100号