小组开会第二周总结：朴素贝叶斯法

1、什么是朴素贝叶斯&＃xff0c;具体过程是怎么样的。

朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。

对于给定的训练数据集&＃xff0c;首先基于特征条件独立假设学习输入输出的联合概率分布&＃xff1b;

然后基于此模型&＃xff0c;对给定的输入x&＃xff0c;利用贝叶斯定理求出后验概率最大的输出y。

2、朴素贝叶斯‘朴素’在什么地方。

朴素在贝叶斯定理对条件概率分布做了条件独立性假设。

3、朴素贝叶斯假设特征条件独立&＃xff0c;为什么这种情况下分类效果还不错。

分类只需比较概率大小&＃xff0c;无需得出精确概率&＃xff1b;

如果数据不独立&＃xff0c;存在依赖关系&＃xff0c;如果这种关系对所有分类结果有影响&＃xff0c;那不会影响最终结果。

4、训练数据集独立同分布。

5、为什么要条件概率分布做条件独立性假设。

条件概率分布有指数级量的参数&＃xff0c;其估计实际是不可行的。

6、朴素贝叶斯属于生成模型、监督学习。

7、朴素贝叶斯采用的是期望风险最小化&＃xff0c;就是取后验概率中概率最大时对应的y值。

8、还有极大似然估计法、贝叶斯估计法。

9、极大似然估计法取P(ci/x)最大&＃xff0c;最大后验概率估计取P(ci/x)P(ci)最大&＃xff0c;也就是说在极大似然估计法的基础上添加了先验经验&＃xff0c;这样估计就更准确。

10、当数据量小的时候&＃xff0c;最大后验概率估计比极大似然估计更准确&＃xff0c;当数据量大的时候&＃xff0c;最大后验概率估计会退化为极大似然估计。

11、例子&＃xff1a;比如要挑选一个班级一个学生去代表班级参加比赛&＃xff0c;最大似然估计选择成绩第一的&＃xff0c;最大后验概率估计则加入了先验经验&＃xff0c;比如老师认为第三名的平时综合成绩不错&＃xff0c;所以最大后验估计选择第三名的&＃xff0c;而贝叶斯估计则给每个同学一个权重&＃xff0c;平时成绩好的权重高&＃xff0c;成绩差的权重低&＃xff0c;然后全班再考一次&＃xff0c;最后综合得出成绩最好的&＃xff0c;选择他代表班级比赛。

12、贝叶斯估计是为了解决最大似然估计当某个标签对应的特征不存在时&＃xff0c;概率取0的情况&＃xff0c;因为这会影响后验概率的计算结果&＃xff0c;使分类产生偏差。

13、贝叶斯估计在极大似然估计的基础上&＃xff0c;分子分母分别加一些常数&＃xff0c;当常数对应的参数是1时&＃xff0c;称为拉普拉斯平滑。

14、贝叶斯估计的参数不是凭空写的&＃xff0c;是根据某些公式推出来的&＃xff0c;具体咋推就不知道了。