统计学习最大似然和贝叶斯估计的联系

概率和统计的区别

概率是已知模型和参数&＃xff0c;推数据&＃xff1b;统计是已知数据&＃xff0c;推模型和参数

最大似然估计为点估计&＃xff1a;

利用数据样本信息 

在参数Theta下数据集X发生的概率最大

贝叶斯估计为分布估计&＃xff1a;

利用数据样本信息和先验知识

也即是在数据集X发生的情况下&＃xff0c;哪一个参数yi发生的概率最大&＃xff0c;称为后验概率&＃xff0c;测试结果下&＃xff0c;结果是真实的概率

一个较好的例子&＃xff1a;

1、掷硬币实验

  试验为伯努利试验

极大似然估计的推导&＃xff1a;

贝叶斯估计的推导

2、数据服从正态分布&＃xff0c;依据样本估计u&＃xff0c;通过极大似然估计和贝叶斯估计来阐述

极大似然估计推导&＃xff1a;

贝叶斯估计&＃xff1a;

参考资料

1、《统计学习》

2、最大似然估计MLE与贝叶斯估计 https://blog.csdn.net/bitcarmanlee/article/details/52201858

3、详解最大似然估计&＃xff08;MLE&＃xff09;、最大后验概率估计&＃xff08;MAP&＃xff09;&＃xff0c;以及贝叶斯公式的理解https://blog.csdn.net/u011508640/article/details/72815981

4、伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布

 https://blog.csdn.net/kingzone_2008/article/details/80584743

5、正态分布https://blog.csdn.net/huangjx36/article/details/77982503