经典机器学习算法系列2朴素贝叶斯法

该处的朴素贝叶斯法是指朴素贝叶斯分类法&＃xff0c;基于贝叶斯定理和特征条件独立假设的数学原理

1.数学原理1-贝叶斯定理

所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章&＃xff0c;而这篇文章是在他死后才由他的一位朋友发表出来的。在贝叶斯写这篇文章之前&＃xff0c;人们已经能够计算“正向概率”&＃xff0c;如“假设袋子里面有 N 个白球&＃xff0c;M 个黑球&＃xff0c;你伸手进去摸一把&＃xff0c;摸出黑球的概率是多大”。而一个自然而然的问题是反过来&＃xff1a;“如果我们事先并不知道袋子里面黑白球的比例&＃xff0c;而是闭着眼睛摸出一个&＃xff08;或好几个&＃xff09;球&＃xff0c;观察这些取出来的球的颜色之后&＃xff0c;那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测”。这个问题&＃xff0c;就是所谓的逆向概率问题。

博客[3]给出了一个更通俗的讲解。通俗来说&＃xff0c;就好比这么个道理&＃xff0c;你在街上看到一个黑人&＃xff0c;我问你你猜这哥们哪里来的&＃xff0c;你十有八九猜非洲。为什么呢&＃xff1f;因为黑人中非洲人的比率最高&＃xff0c;当然人家也可能是美洲人或亚洲人&＃xff0c;但在没有其它可用信息下&＃xff0c;我们会选择条件概率最大的类别&＃xff0c;这就是朴素贝叶斯的思想基础。似乎朴素贝叶斯只能用于属性值是离散的情况&＃xff0c;连续的还未知。

相关概念

1.1 条件概率&＃xff1a;事件A在事件B已经发生的条件下的发生概率&＃xff0c;记为P(A|B)

条件概率公式为P(A|B) &＃61; P(AB)/P(B)

1.2 联合概率&＃xff1a;事件A和事件B同时发生的概率&＃xff0c;记为P(AB)

乘法公式为P(AB) &＃61; P(A|B)P(B)

1.3 先验概率和后验概率

事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. &＃xff08;先&＃xff0c;通前&＃xff0c;事情发生前&＃xff0c;圈起来要考&＃xff09;
事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率.&＃xff08;后&＃xff0c;通后&＃xff0c;事情发生后&＃xff0c;圈起来要考&＃xff09;

1.4 贝叶斯公式

1.5 极大似然估计