文本语言模型的参数估计-最大似然估计、MAP及贝叶斯估计及跟NLP推荐的好博客

http://blog.csdn.net/yangliuy/article/details/8296481

博客2：http://licstar.net/archives/687

非常好的一篇文章。普及NLP常见的数学常识。如：

1、文本分析的三种参数分析方法：最大似然估计MLE，最大后验概率估计MAP，贝叶斯估计。

1.1 最大似然估计MLE

最大似然估计就是要用似然函数取到最大值时的参数值作为估计值，似然函数可以写做

由于连乘

该函数取得最大值是对应的的取值就是我们估计的模型参数。

1.2 最大后验概率MAP

与最大似然概率不同的是：引入先验概率

 （1）

先验分布的参数我们称为超参数(hyperparameter)即

PS插播Beta分布：通常假设为先验分布：

其中Beta函数展开是

当x为正整数时

 前提：n-1>0

回到正题：公式（1）中前一部分跟最大似然估计一样，后一部分先验概率Beta分布（p与阿尔法，贝塔）取log相乘变成相加求导，所以得到：

得到参数p的的最大后验估计值为

1.3 贝叶斯估计

看第一遍太难了没看懂，什么二项分布与Beta分布是共轭分布；在概率语言模型中，通常选取共轭分布作为先验，可以带来计算上的方便性

静下心来看第二遍，其实就是公式信息掌握的对称性，文章说的很清楚，很感谢博主。

注意这里用到了公式

注意这里用到了公式

建议：通过抛硬币的例子进行对比