NLP如何理解隐马尔可夫求解过程？

一、引言

HMM对于自然语言处理和语音识别等方面有着重大意义&＃xff0c;其三个经典问题

• 在已知序列的情况下推理出隐藏序列
• 参数估计
• 计算可能序列的边缘概率

在诸多文章中被提及&＃xff0c;但是对于如何求解却很少提及&＃xff01;
本文主要通过一个简单的小例子说明如何在已知序列的情况下推理出隐藏序列 。

二、模型引入

1、为了模型的使用做如下假设

• 观测序列和隐含序列有关系
• 序列符合马尔科夫过程

2、模型图概览

3、分析

• 隐含序列范围 :state $ϵ$ [a,b,c]
• 观测序列范围 :observe $ \epsilon$ [1,2,3]

为了根据观测序列求出隐含的序列&＃xff0c;必须求出三个参数&＃xff0c;分别如下

• 参数1&＃xff1a;$\pi$

$\pi$:表示隐含序列每一位的为序列开头的概率&＃xff0c;比如有4个序列
a,b,c
a,c,c
b,a,c
c,a,b
如序列a,b,c的初始概率π&＃61;[24,14,14]&＃61;[0.5,0.25,0.25]\pi&＃61;[\frac{2}{4},\frac{1}{4},\frac{1}{4}]&＃61;[0.5,0.25,0.25]π&＃61;[42​,41​,41​]&＃61;[0.5,0.25,0.25]

• 参数2&＃xff1a;隐含序列之间的转移概率矩阵$transP$

仍以状态a,b,c的序列为例,a->a转移了0次&＃xff0c;a->b转移了2次…

那么$transP$为&＃xff1a;

• 参数3&＃xff1a;隐含序列到观测序列的发射概率矩阵$emitP$

如隐含序列和观测序列的对应关系如下&＃xff1a;
a,b,c->1,2,3
a,c,c->1,3,2
b,a,c->2,2,3
c,a,b->1,1,2
a->1发射了3次&＃xff0c;a->2发射了1次…

那么$emitP$为&＃xff1a;

到此为止模型的三个参数处理完毕&＃xff0c;根据三个参数&＃43;维特比算法就可以根据输入值求出预测值&＃xff0c;比如输入一个序列 2,1,1&＃xff0c;那么需要计算的表格是

在首行&＃xff0c;根据初始概率和发射概率进行初始化
首先计算序列2,1,1的首位2的状态有可能是a,b,c的概率$p(a|2)、p(b|2)、p(c|2)$
首位的影响因素为两个&＃xff0c;一个是a,b,c分别为首的概率&＃xff0c;一个是隐含状态a,b,c可能生成观测值1,2,3的概率&＃xff0c;那么

$p(a|2)\&＃61;p(a为首位)\ast p(a发射程2)$

从第二行开始&＃xff0c;使用发射概率和来自有状态转移的最大概率进行概率填充&＃xff0c;并记录最大概率来自方状态确定路径,特别说明一下&＃xff08;以$p(a|1)$为例&＃xff09;&＃xff1a;

$p(a|1)\&＃61;Max($
$transP[a][a]\ast emitP[a][1]\ast p(a|2),$
$transP[b][a]\ast emitP[a][1]\ast p(b|2),$
$transP[c][a]\ast emitP[a][1]\ast p(c|2)$
$)$

$p(a|1)$表示在观测值为1的条件下隐含状态为a的概率&＃xff0c;在此不仅要考虑a发射为1的概率&＃xff0c;还要考虑上一个状态a,b,c转移为a的概率&＃xff0c;基于动态规划的思想&＃xff0c;确保局部路径最优&＃xff0c;还要考虑上一个状态的最终概率

三、实战预测

• 安装环境

pip install hmmlearn


• 根据二的方法计算模型参数
• 导入hmmlearn

from hmmlearn import hmm


• 模型求解

model&＃61;hmm.MultinomialHMM(n_components&＃61;隐含状态数量)
model.startprob_&＃61;startP
model.transmat_&＃61;tranP
model.emissionprob_&＃61;emitP
预测结果&＃61;model.predict(输入序列.reshape(-1,1))


本文如果有什么错误还望大神指正&＃xff01;