机器学习+西瓜书笔记第2章【贝叶斯分类器】

贝叶斯公式&＃xff1a;

实际上&＃xff0c;分母为全概率公式&＃xff0c;分子为联合概率。在机器学习中&＃xff0c;更常见的形式为

贝叶斯公式的作用在于将P(B|A)的估计转化为估计P(A|B)和P(B)

注&＃xff1a;由式(7.7)可知&＃xff0c;因为证据因子P(x)只与样本本身有关&＃xff0c;与类标记无关&＃xff0c;故有maxP(c∣x)等价于maxP(x,c)
于是&＃xff0c;估计似然P(c∣x)的问题就转化为如何基于训练数据D来估计先验概率P©和似然P(x∣c)。
对于似然P(x∣c)&＃xff0c;由于它涉及关于x所有属性的联合概率&＃xff0c;故使用频率来估计P(x∣c)是不可行的&＃xff0c;因为训练集不能保证其所有的样本能观测到所有属性&＃xff0c;而 “未观测到的” 与运用频率估计其 “出现概率为0” 是 不同的。

1.相关知识补充

• x&＃xff1a;给定的样本
• c&＃xff1a;类标记
• P(c )&＃xff1a;类“先验”概率&＃xff0c;表达了样本空间中各类样本所占的比例。
• P(c|x)&＃xff1a;后验概率
• P(x|c)&＃xff1a;样本x相对于类标记c的类条件概率&＃xff0c;或称为似然
• P(x)&＃xff1a;用于归一化的证据因子

2.生成模型与判别模型

待补充。。。

参考链接