热门标签 | HotTags
当前位置:  开发笔记 > 人工智能 > 正文

【机器学习】朴素贝叶斯

朴素贝叶斯  朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先给予特征条件独立假设学习出输入输出的联合概率分布;然后基于此模型,对给定

朴素贝叶斯

  朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。

对于给定的训练数据集,

  1. 首先给予特征条件独立假设学习出输入输出的联合概率分布;
  2. 然后基于此模型,对给定的输入 x" role="presentation"> x ,利用贝叶斯定理求出后验概率最大的输出 y" role="presentation"> y

朴素贝叶斯方法实现简单,学习与预测的效率都比较高,是一种常用的方法。

基本方法

  设输入空间 X⊆Rn" role="presentation"> X R n n" role="presentation"> n 维向量的集合,输出空间为类标记集合 Y={c1,c2,...,cK}" role="presentation"> Y = { c 1 , c 2 , . . . , c K } ,输入为特征向量 x∈X" role="presentation"> x X ,输出为类标记 yi∈Y" role="presentation"> y i Y 。已知 X" role="presentation"> X 是定义在 X" role="presentation"> X 上的随机向量, Y 是定义在输出空间 Y" role="presentation"> Y 上的随机变量。P(X,Y)" role="presentation"> P ( X , Y ) X" role="presentation"> X Y" role="presentation"> Y 的联合概率分布。训练数据集:

T={(x1,y1),(x2,y2),...,(xN,yN)}" role="presentation"> T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) }

是由 P(X,Y)" role="presentation"> P ( X , Y ) 独立同分布产生。

  朴素贝叶斯通过训练数据集学习联合概率分布 P(X,Y)" role="presentation"> P ( X , Y ) 。具体的,学习一下的先验概率分布以及条件概率分布。

  • 先验概率分布:

    P(Y=ck)  k=0,1,...,K" role="presentation"> P ( Y = c k )     k = 0 , 1 , . . . , K

  • 条件概率分布:

    P(X=x|Y=ck)=P(X(1)=x(1),X(2)=x(2),...,X(n)=xn)|Y=ck)" role="presentation">