贝叶斯方法大部分用来分类。
它首先需要一些已知的数据,然后通过已知数据预测未知数据。
举个例子:
医院今早晨收了6个病人,病人特征为“症状”和“职业”,类别(或者说结果)是“疾病类型”。
然后又来了第7个病人,病人症状是“打喷嚏”、职业是“建筑工人”,问最有可能的疾病是什么。
这种情形可以用分类器通过特征进行分类。(当然这么少的特征、这么少的统计数据不足以得出正确结论,但是道理已经说明白了。)
这个方法本质上是求概率。所用知识非常简单,高中生就会。
先简单推导:(没用介绍全概率公式……毕竟要说话的方式简单点)
条件概率公式,已经发生B事件的情况下,A事件发生的概率是:
把分子乘到左边就能得到所谓的乘法公式:
把A和B的位置换一下,
又因为P(AB)=P(BA)
那么两边乘除一下,就得到最简单的贝叶斯公式:
我们把A看做分成的一个类别,B看做一个特征,这个式子就好理解了。
P(A|B)意思就是“给定一个特征B分类到A类”的概率;P(B|A)的意思是已知某个特定类别后,此种类别所含有特征的发生概率;P(A)是“是A类”这个事件发生的概率,P(B)是“有这个特征”这个事件发生的概率。也就是说你把每个特征看做是事件,把类别也看做是事件。
显然我们比较的每个元素都是有相同特征的,所以在分类的时候可以不看分母。
那么就写成: 。
原理清楚,在实际问题中,是给定多个特征,判别这些特征是属于哪一类别的,我们只要把属于每一个类别的事件概率都求一遍看哪个大就能判别了。
,其中j是类别的下标,k是特征总数,i是特征的下标。
给定特征属于每个类别的概率都算一下,看哪个类别大结果就是哪个。