当前位置: 开发笔记 > 人工智能 > 正文

【整理】图解隐马尔可夫模型（HMM）

作者：cjaklxn_490 | 来源：互联网 | 2023-05-18 11:08

写在前面最近在写论文过程中，研究了一些关于概率统计的算法，也从网上收集了不少资料，在此整理一下与各位朋友分享。隐马尔可夫模型，简称HMM(HiddenMarkovModel),是一种基于

写在前面

最近在写论文过程中，研究了一些关于概率统计的算法，也从网上收集了不少资料，在此整理一下与各位朋友分享。

隐马尔可夫模型，简称HMM(Hidden Markov Model), 是一种基于概率的统计分析模型，用来描述一个系统隐性状态的转移和隐性状态的表现概率。

本文适用于对HMM感兴趣的入门读者，为了让文章更加通俗易懂，我会多阐述数学思想，尽可能的撇开公式，撇开推导。结合实际例子，争取做到雅俗共赏，童叟无欺。没有公式，就没有伤害。

建议看一下吴军博士的《数学之美》，里面有简单的说明。然后看下HMM的三个计算问题和对应的解答，你会发现基本就是动态规划的思想。

本文非完全原创，部分内容来自互联网，自己在此基础上加入了个人的理解，如有侵权还请告知！

从掷骰子说起

假设我手里有三个不同的骰子：

第一个骰子是我们平常见的骰子（称这个骰子为D6），6个面，每个面（1，2，3，4，5，6）出现的概率是1/6。
第二个骰子是个四面体（称这个骰子为D4），每个面（1，2，3，4）出现的概率是1/4。
第三个骰子有八个面（称这个骰子为D8），每个面（1，2，3，4，5，6，7，8）出现的概率是1/8。

结果为1，6，这时问题变得复杂起来，我们要计算三个值，分别是第二个骰子是D6，D4，D8的最大概率。显然，要取到最大概率，第一个骰子必须为D4。这时，第二个骰子取到D6的最大概率是

$P2(D6)=P(D4)*P(D4\rightarrow 1)*P(D4\rightarrow D6)*P(D6\rightarrow 6)$
$=\frac{1}{3} *\frac{1}{4} *\frac{1}{3} *\frac{1}{6}$

同样的，我们可以计算第二个骰子是D4或D8时的最大概率。我们发现，第二个骰子取到D6的概率最大。而使这个概率最大时，第一个骰子为D4。所以最大概率骰子序列就是D4 D6。

继续拓展，我们掷三次骰子：

同样，我们计算第三个骰子分别是D6，D4，D8的最大概率。我们再次发现，要取到最大概率，第二个骰子必须为D6。这时，第三个骰子取到D4的最大概率是

同上，我们可以计算第三个骰子是D6或D8时的最大概率。我们发现，第三个骰子取到D4的概率最大。而使这个概率最大时，第二个骰子为D6，第一个骰子为D4。所以最大概率骰子序列就是D4 D6 D4。

写到这里，大家应该看出点规律了，这其实就是概率DP问题（Dynamic Programming with Probability）。既然掷骰子一二三次可以算，掷多少次都可以以此类推。我们发现，我们要求最大概率骰子序列时要做这么几件事情：

谁动了我的骰子

如果你怀疑自己的六面骰被赌场动过手脚了，有可能被换成另一种六面骰，这种六面骰掷出来是1的概率更大，是1/2，掷出来是2，3，4，5，6的概率是1/10。怎么办？答案很简单，算一算正常的三个骰子掷出一段序列的概率，再算一算不正常的六面骰和另外两个正常骰子掷出这段序列的概率。如果前者比后者小，你就要小心了。比如说掷骰子的结果是：

要算用正常的三个骰子掷出这个结果的概率，其实就是将所有可能情况的概率进行加和计算。同样，简单而暴力的方法就是把穷举所有的骰子序列，还是计算每个骰子序列对应的概率，但是这回，我们不挑最大值了，而是把所有算出来的概率相加，得到的总概率就是我们要求的结果。这个方法依然不能应用于太长的骰子序列（马尔可夫链）。我们会应用一个和前一个问题类似的解法，只不过前一个问题关心的是概率最大值，这个问题关心的是概率之和。解决这个问题的算法叫做前向算法（forward algorithm）。首先，如果我们只掷一次骰子：

看到结果为1.产生这个结果的总概率可以按照如下计算，总概率为0.18：

看到结果为1，6.产生这个结果的总概率可以按照如下计算，总概率为0.05：

看到结果为1，6，3.产生这个结果的总概率可以按照如下计算，总概率为0.03：

同样的，我们一步一步的算，有多长算多长，再长的马尔可夫链总能算出来的。用同样的方法，也可以算出不正常的六面骰和另外两个正常骰子掷出这段序列的概率，然后我们比较一下这两个概率大小，就能知道你的骰子是不是被人换了。

HMM 的应用

以上例子是用HMM对掷骰子进行建模与分析。当然还有很多HMM经典的应用，能根据不同的应用需求，对问题进行建模。

在满足条件的情况下，确定问题中的隐性状态是什么，隐性状态的表现可能又有哪些。

HMM适用的问题：真正的状态(隐态)难以被估计，而状态与状态之间又存在联系。

语音识别

在个问题里面，隐性状态就是: 语音信号对应的文字序列。而显性状态就是: 语音信号。

MM模型的学习(Learning): 语音识别的模型学习和上文中通过观察骰子序列建立起一个最有可能的模型不同。

手写识别

手写识别（HandWriting Recognition）是指将在手写设备上书写时产生的有序轨迹信息化转化为文字的过程。

原理和语音差不多，只不过手写识别的过程是将字的图像当成了显性序列。

中文分词

总所周知，在汉语中，词与词之间不存在分隔符，词本身也缺乏明显的形态标记（英文中，词与词之间用空格分隔，这是天然的分词标记）。因此，中文信息处理的特有问题就是如何将汉语的字串分割为合理的词语序。

例如，英文句子：you should go to kindergarten now. 天然的空格已然将词分好，只需去除其中的介词“to”即可；而“你现在应该去幼儿园了”这个句子表达同样的意思却没有明显的分隔符，中文分词的目的是得到“你/现在/应该/去/幼儿园/了”。那么如何进行分词呢？

更多中文分词相关介绍，参考我的另一篇博客：一周乱谈 - 中文分词

拼音输入法

拼音输入法，是一个估测拼音字母对应想要输入的文字(隐性状态)的过程(比如， ‘pingyin’ -> 拼音)。

很明显，拼音输入法的观察序列就是用户的输入拼音，比如”wo shi zhong guo ren”，我们要推测出用户想要输入的是“我是中国人”，这是个很典型的隐马尔科夫模型。

如上图所示，我们根据给定的观察对象O，获得一个概率最大的序列S*。我们所知道的数据有：

我们要求的是S*各个状态的连续概率最大的那个序列，和上面同理。

有关隐马尔可夫模型的教学视频，请参看coursera课程：Lecture 17 - 隐马尔可夫模型

结语

隐马尔可夫模型是可用于标注问题的统计学习的模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。

本文以一个例子为主线，用理论结合实际的方法讲解了HMM的基本原理和三个基本问题，以及三个问题的求解方法。最后，综述了一些HMM在人类的行为分析、网络安全和信息抽取中的最新应用。

参考文献

【整理】图解隐马尔可夫模型（HMM）

写在前面

从掷骰子说起

谁动了我的骰子

HMM 的应用

语音识别

手写识别

中文分词

拼音输入法

结语

参考文献

JS进修笔记——闭包的运转机制和作用域

Linux服务器密码过期策略、登录次数限制、私钥登录等配置方法

Java工具类库Hutool介绍及功能概述

C#生成随机数的三种方法及其问题分析

qt学习(六)数据库注册用户的实现方法

2020年AI产业报告：100个岗位抢1个人，计算机视觉成最大缺口

生成对抗式网络GAN及其衍生CGAN、DCGAN、WGAN、LSGAN、BEGAN介绍

[译]技术公司十年经验的职场生涯回顾

无线认证设置故障排除方法及注意事项

游戏开发中的人工智能技术及分类介绍

JavaScript设计模式之策略模式（Strategy Pattern）的优势及应用

PhysioNet生理信号处理（三）WFDB Toolbox for Matlab的安装和使用方法

相机防抖设置详解及使用方法

图解redis的持久化存储机制RDB和AOF的原理和优缺点

无损压缩算法专题——LZSS算法实现