机器学习笔记(4)EM算法(期望极大算法)

极大似然估计

介绍&＃xff1a;已知某个随机样本满足某种概率分布&＃xff0c;但是其中具体的参数不清楚&＃xff0c;参数估计就是通过若干次试验&＃xff0c;观察其结果&＃xff0c;利用结果推出参数的大概值。最大似然估计是建立在这样的思想上&＃xff1a;已知某个参数能使这个样本出现的概率最大&＃xff0c;我们当然不会再去选择其他小概率的样本&＃xff0c;所以干脆就把这个参数作为估计的真实值。
求最大似然函数估计值的一般步骤&＃xff1a;
&＃xff08;1&＃xff09;写出似然函数&＃xff1b;
&＃xff08;2&＃xff09;对似然函数取对数&＃xff0c;并整理&＃xff1b;
&＃xff08;3&＃xff09;求导数&＃xff0c;令导数为0&＃xff0c;得到似然方程&＃xff1b;
&＃xff08;4&＃xff09;解似然方程&＃xff0c;得到的参数即为所求&＃xff1b;

EM算法

三硬币模型【如何估计模型参数】