hanlp训练模型_把隐马尔可夫模型彻底说清楚

#coding:utf-8
"""
基于隐马尔可夫模型的分词
"""
import codecs
import pickle
import numpy as npidx_to_state &＃61; [&＃39;b&＃39;, &＃39;m&＃39;, &＃39;e&＃39;, &＃39;s&＃39;]
state_to_idx &＃61; {&＃39;b&＃39;:0, &＃39;m&＃39;:1, &＃39;e&＃39;:2, &＃39;s&＃39;:3}
# 极大似然估计法训练模型参数
def train():# 构建字表character_set &＃61; set()with codecs.open(&＃39;RenMinData.txt_utf8&＃39;, &＃39;rb&＃39;, &＃39;utf-8&＃39;, &＃39;ignore&＃39;) as infile:for line in infile:line &＃61; line.strip()if line:word_li &＃61; line.split()if word_li:for word in word_li:if word:character_set.update(word)# 输出字表print(&＃39;输出字表...&＃39;)with open(&＃39;character_list.txt&＃39;, &＃39;wb&＃39;) as outfile:idx &＃61; 0for character in character_set:out_str &＃61; u&＃39;%dt%sn&＃39; % (idx, character)outfile.write(out_str.encode(&＃39;utf-8&＃39;, &＃39;ignore&＃39;))idx &＃43;&＃61; 1# 加载字索引以及索引字character_to_idx &＃61; dict()idx_to_character &＃61; []with codecs.open(&＃39;character_list.txt&＃39;, &＃39;rb&＃39;, &＃39;utf-8&＃39;, &＃39;ignore&＃39;) as infile:for line in infile:line &＃61; line.strip()if line:idx, character &＃61; line.split(u&＃39;t&＃39;)character_to_idx[character] &＃61; int(idx)idx_to_character.append(character)print(&＃39;加载字索引表 长度&＃61;%d&＃39; % len(character_to_idx))print(&＃39;加载索引字表 长度&＃61;%d&＃39; % len(idx_to_character))global state_li# 矩阵初始化print(&＃39;初始化模型矩阵&＃39;)A &＃61; np.zeros((len(idx_to_state), len(idx_to_state)))print(&＃39;A&＃61;n&＃39;, A)B &＃61; np.zeros((len(idx_to_state), len(idx_to_character)))print(&＃39;B.shape&＃39;, B.shape)PI &＃61; np.zeros(len(idx_to_state))print(&＃39;PI&＃61;&＃39;, PI)# 训练with codecs.open(&＃39;RenMinData.txt_utf8&＃39;, &＃39;rb&＃39;, &＃39;utf-8&＃39;, &＃39;ignore&＃39;) as infile:for line_ser, line in enumerate(infile):line &＃61; line.strip()if line:# 对句子中的每个字打状态标记word_li &＃61; line.split()character_li &＃61; []if word_li:for word in word_li:if len(word) &＃61;&＃61; 0:continueelif len(word) &＃61;&＃61; 1:character_li.append((word[0],&＃39;s&＃39;))elif len(word) &＃61;&＃61; 2:character_li.append((word[0],&＃39;b&＃39;))character_li.append((word[1], &＃39;e&＃39;))else:character_li.append((word[0], &＃39;b&＃39;))character_li.extend([(w, &＃39;m&＃39;) for w in word[1:-1]])character_li.append((word[-1], &＃39;e&＃39;))# 统计相关次数# 更新PI列表PI[state_to_idx[character_li[0][1]]] &＃43;&＃61; 1# 更新B字典for character, state in character_li:B[state_to_idx[state], character_to_idx[character]] &＃43;&＃61; 1# 更新A字典if len(character_li) >&＃61; 2:for ser_num, cur_state in enumerate([w[1] for w in character_li[:-1]]):next_state &＃61; character_li[ser_num&＃43;1][1]cur_state_idx &＃61; state_to_idx[cur_state]next_state_idx &＃61; state_to_idx[next_state]A[cur_state_idx][next_state_idx] &＃43;&＃61; 1# 计算PIPI &＃61; PI/sum(PI)# 计算Afor row_ser in range(A.shape[0]):A[row_ser,::] /&＃61; sum(A[row_ser,::])# 计算Bfor row_ser in range(B.shape[0]):B[row_ser,::] /&＃61; sum(B[row_ser, ::])# 输出PIprint("输出PI矩阵...")with open(&＃39;model_PI&＃39;, &＃39;wb&＃39;) as outfile:pickle.dump(PI, outfile)# 输出Aprint("输出A矩阵...")with open(&＃39;model_A&＃39;, &＃39;wb&＃39;) as outfile:pickle.dump(A, outfile)# 输出Bprint("输出B矩阵...")with open(&＃39;model_B&＃39;, &＃39;wb&＃39;) as outfile:pickle.dump(B, outfile)def viterbe(O, PI, A, B, str&＃61;u&＃39;&＃39;):"""viterbi算法计算HMM问题2:param O: 观测序列:param PI: 初始状态分布:param A: 状态转移矩阵:param B: 发射矩阵:return:"""# viterbi算法中初始化delta_1delta_1 &＃61; PI * B[:, 0]# viterbi算法中初始化kesi_1kesi_1 &＃61; np.zeros(PI.size, dtype&＃61;np.int)# 最优路径记录初始化kesi &＃61; np.array(kesi_1.T)# 递推delta_tplusone &＃61; delta_1.copy()for t in range(1, len(O)):max_delta_tminus_aji &＃61; np.tile(delta_tplusone, PI.size).reshape(A.shape).T * Adelta_t &＃61; np.max(max_delta_tminus_aji, 0) * B[:, O[t]]kesi_t &＃61; np.argmax(max_delta_tminus_aji, 0)kesi &＃61; np.column_stack((kesi, kesi_t.T))delta_tplusone &＃61; delta_t.copy()# 终止P_star &＃61; np.max(delta_t)i_T_star &＃61; np.argmax(kesi_t)# 最优路径回溯I_star &＃61; [i_T_star]i_tplus_star &＃61; i_T_starfor t in range(kesi.shape[1] - 1, 0, -1):i_t_star &＃61; kesi[:, t][i_tplus_star]I_star.append(i_t_star)i_tplus_star &＃61; i_t_starI_star &＃61; I_star[::-1]# 输出分词结果if str:out_str &＃61; u""state_li &＃61; [idx_to_state[w] for w in I_star]i &＃61; 0while i

这 是 我国 目前 最 大 的 朝鲜 民族 文化 设施 。
这 座 文化宫 建筑 面积 为 二千七百 平方米 &＃xff0c;
内部 设有 剧场 、 排 练 厅 、 舞 厅 &＃xff0c;
可 同时 容 纳 一千 多 人 参加 活动 。
&＃xff08; 新华社 电 &＃xff09; 文化 天地 空军 某地 空 导弹 旅 歌曲 创作 活跃 新华社 &＃xff10;&＃xff15; 旅 有 旅 歌 、
营 有 营 歌 、 连 有 连 歌 。
空军 某地 空 导弹 旅 开展 谱写 军 旅 歌曲 活动 &＃xff0c;
目前 所有 连 以上 单位 都 有 了 反映 自己 工作 特色 的 歌曲 。
这个 旅 是 一 支 屡 建 战功 的 部队 。
全 旅 从 &＃xff11;&＃xff19;&＃xff18;&＃xff16;年 &＃xff15;月 起 开展 了 群众性 的 谱写 旅 、 营 、 连 歌 活动 。