朴素贝叶斯分类算法原理

朴素贝叶斯分类算法原理

在《通俗地理解贝叶斯公式&＃xff08;定理&＃xff09;》一节&＃xff0c;我们基本认识了“贝叶斯定理”。在此基础之上&＃xff0c;这一节我们将深入讲解“朴素贝叶斯算法”。

我们知道解决分类问题时&＃xff0c;需要根据他们各自的特征来进行判断&＃xff0c;比如区分“一对双胞胎不同之处”&＃xff0c;虽然他们看起来相似&＃xff0c;但是我们仍然可以根据细微的特征&＃xff0c;来区分他们&＃xff0c;并准确地叫出他们的名字。就像一句非常有哲理的话&＃xff0c;“世界上没有完全相同的两片树叶”&＃xff0c;因此被分类的事物会存在许多特征。

比如现在有 A1 和 A2 两个类&＃xff0c;其中 A1 具有 b、c 两个特征&＃xff0c;A2 具有 b、d 两个 特征&＃xff0c;如果是你会怎么区分这两个类呢&＃xff1f;很简单看看是存在 c &＃xff0c;存在的就是 A1&＃xff0c;反之则是 A2。但是现实的情况要复杂的多&＃xff0c;比如 100 个 A1样本中有 80% 的样本具有特征 c&＃xff0c;而且剩余的 20% 具有了特征 d&＃xff0c;那么要怎么对它们分类呢&＃xff1f;其实只要多加判断还是可以分清&＃xff0c;不过要是纯手工分类&＃xff0c;那就恐怕得不偿失了。

多特征分类问题

统计学是通过搜索、整理、分析、描述数据等手段&＃xff0c;以达到推断、预测对象的本质&＃xff0c;统计学用到了大量的数学及其它学科的专业知识&＃xff0c;其应用范围几乎覆盖了社会科学和自然科学的各个领域。

下面我们使统计学的相关知识解决上述分类问题&＃xff0c;分类问题的样本数据大致如下所示&＃xff1a;

[特征 X1 的值,特征 X2 的值,特征 X3 的值,…,类别 A1]
[特征 X1 的值,特征 X2 的值,特征 X3的值,…,类别 A2]

解决思路&＃xff1a;这里我们先简单的采用 1 和 0 代表特征值的有无&＃xff0c;比如当 X1 的特征值等于 1 时&＃xff0c;则该样本属于 A1 的类别概率&＃xff1b;特征值 X2 值为 1 时&＃xff0c;该样本属于类别 A1 的类别的概率。依次类推&＃xff0c;然后最终算出该样本对于各个类别的概率值&＃xff0c;哪个概率值最大就可能是哪个类。

上述思路就是贝叶斯定理的典型应用&＃xff0c;如果使用条件概率表达&＃xff0c;如下所示&＃xff1a;
P(类别A1|特征X1&＃xff0c;特征X2&＃xff0c;特征X3&＃xff0c;…)

上述式子表达的意思是&＃xff1a;在特征 X1、X2、X3 等共同发生的条件下&＃xff0c;类别 A1 发生的概率&＃xff0c;也就是后验概率&＃xff0c;依据贝叶斯公式&＃xff0c;我们可以使用似然度求解后验概率&＃xff0c;某个特征的似然度如下&＃xff1a;
P(特征X1|类别A1&＃xff0c;特征X2&＃xff0c;特征X3&＃xff0c;…)

但是要收集对个特征值共同发生的情况&＃xff0c;这并不容易&＃xff0c;因此我们就需要使用“朴素”贝叶斯算法。

朴素贝叶斯算法

上一节我们已经了解了贝叶斯公式&＃xff0c;下面使用贝叶斯公式将多特征分类问题表达出来&＃xff0c;如下所示&＃xff1a;

数据集有时并不是很完全的&＃xff0c;总会因为某些原因存在一些缺失和收集不全的现象&＃xff0c;所以特征 x 越多这个问题就会越突出&＃xff0c;统计这些特征出现的概率就越困难。为了避免这一问题&＃xff0c;朴素贝叶斯算法做了一个假设&＃xff0c;即特征之间相互独立&＃xff0c;互不影响&＃xff0c;由此以来&＃xff0c;就可以简化为以下式子来求解某个特征的似然度&＃xff1a;

“朴素贝叶斯算法”利用后验概率进行预测&＃xff0c;其核心方法是通过似然度预测后验概率。在使用朴素贝叶斯算法解决分类问题&＃xff0c;其实就是不断提高似然度的过程&＃xff0c;你可以理解为后验概率正比于似然度&＃xff0c;如果提高了似然度&＃xff0c;那么也会达到提高后验概率的目的&＃xff0c;记做如下式子&＃xff1a;

上述式子中∝表示正比于&＃xff0c;而∏则是连乘符号&＃xff08;即概率相乘&＃xff09;表示了不同特征同时发生的概率。

朴素贝叶斯优化方法

你也许会发现&＃xff0c;在学习过朴素贝叶斯的过程中&＃xff0c;我们并内提到“假设函数”和“损失函数”&＃xff0c;其实这并不难理解。朴素贝叶斯算法更像是一种统计方法&＃xff0c;通过比较不同特征与类之间的似然度关系&＃xff0c;最后把似然度最大的类作为预测结果。

每个类与特征的似然度是不同的&＃xff0c;也就是 P(xi|y) 不同&＃xff0c;因此某一类别中某个特征的概率越大&＃xff0c;我们就更容易对该类别进行分类。根据求解后验概率的公式&＃xff0c;可以得出以下优化方法&＃xff1a;

此时将后验概率记做类别 y&＃xff0c;我们知道 P(y) 是一个固定的概率值&＃xff0c;因此要想让 y 取得最大值&＃xff0c;只能通过 P(xi|y) 实现&＃xff0c;不妨把被统计的数据看成是一张大表格&＃xff0c;朴素贝叶斯算法就是从中找到 P(xi|y) 值最大的那一项&＃xff0c;该项对应的 y 是什么&＃xff0c;则最终输出的预测结果就是什么。