统计学习方法读书笔记（十）隐马尔可夫模型

全部笔记的汇总贴&＃xff1a;统计学习方法读书笔记汇总贴

隐马尔可夫模型&＃xff08;hidden Markov model HMM&＃xff09;是可用于标注问题的统计学习模型&＃xff0c;描述由隐藏的马尔可夫链随机生成观测序列的过程&＃xff0c;属于生成模型。

可以先看看这篇文章讲述的一些重点问题&＃xff1a;白板推导系列笔记&＃xff08;十四&＃xff09;-隐马尔可夫模型

隐马尔可夫模型是关于时序的概率模型&＃xff0c; 描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列&＃xff0c;再由各个状态生成一个观测从而产生观测随机序列的过程。

$A,B,\pi$作称为隐马尔可夫模型的三要素。状态转移概率矩阵$A$与初始状态概率向量$\pi$确定了隐藏的马尔可夫链&＃xff0c;生成不可观测的状态序列。观测概率矩阵$B$确定了如何从状态生成观测&＃xff0c;与状态序列综合确定了如何产生观测序列。

• 齐次马尔可夫假设
• 观测独立假设

• 直接计算法
• 前向算法
• 后向算法
  &＃xff08;具体的求解和公式推导在篇首给出的那篇文章中讲的十分详细&＃xff09;

• 监督学习算法
• Baum-Welch算法&＃xff08;使用EM算法&＃xff09;

• 近似算法
  优点是计算简单&＃xff0c;其缺点是不能保证预测的状态序列整体是最有可能的状态序列&＃xff0c;因为预测的状态序列可能有实际不发生的部分。

• 维特比算法
  用动态规划&＃xff08;dynamic programming&＃xff09;解隐马尔可夫模型预测问题&＃xff0c;即用动态规划求概率最大路径&＃xff08;最优路径&＃xff09;。

下一章传送门&＃xff1a;统计学习方法读书笔记&＃xff08;十一&＃xff09;-条件随机场