机器学习（八）：CS229ML课程笔记（4）——生成学习，高斯判别分析，朴素贝叶斯

到目前为止&＃xff0c;我们主要学习了学习算法模型&＃xff1a;得到最大似然估计值&＃xff1a;

φj|y&＃61;1 的分子表示&＃xff0c;遍历所有样本&＃xff0c;寻找标签y&＃61;1也就是垃圾邮件中j词语出现的次数&＃xff0c;分母表示训练集合中垃圾邮件的总数。总的式子就表示在垃圾邮件中j词语出现的概率。

同理&＃xff0c;φj|y&＃61;0 表示在非垃圾邮件中j词语出现的概率。

φy表示垃圾邮件占所有样本样件总数的比例。

其中的

由于NIPS从未在垃圾邮件和正常邮件中出现过&＃xff0c;所以结果只能是0了。于是最后的后验概率&＃xff1a;

对于这样的情况&＃xff0c;我们可以采用拉普拉斯平滑&＃xff0c;是假设每个特征值都出现过一次&＃xff0c;对于未出现的特征&＃xff0c;我们赋予一个小的值而不是0。具体平滑方法为&＃xff1a;

假设离散随机变量取值为{1,2,···,k}&＃xff0c;原来的估计公式&＃xff08;某个结果出现的次数在总试验次数中的比例&＃xff09;为&＃xff1a;

使用拉普拉斯平滑后&＃xff0c;新的估计公式为&＃xff1a;

即每个k值出现次数加1&＃xff0c;分母总的加k&＃xff0c;类似于NLP中的平滑&＃xff0c;具体参考宗成庆老师的《统计自然语言处理》一书。

对于上述的朴素贝叶斯模型&＃xff0c;参数计算公式改为&＃xff1a;

example&＃xff1a;

A队和别人打比赛&＃xff0c;在过去的样本中&＃xff0c;A和B打了两次&＃xff0c;输了两次&＃xff0c;A和C打了两次&＃xff0c;输了两次&＃xff0c;A和D打了一次&＃xff0c;输了一次&＃xff0c;问现在A和E打赢得概率&＃xff1a;

如果不用拉普拉斯平滑算出来最后A和E打肯定输&＃xff0c;但是是不合常理的。我们进行平滑后的计算&＃xff1a;

P(y&＃61;1)&＃61; (赢的概率&＃xff09;/&＃xff08;总场数输&＃43;赢&＃xff09;

平滑就是假设已经输了一局赢了一局&＃xff0c;所以目前&＃xff1a;

P(y&＃61;1)&＃61; 0&＃43;1/5&＃43;1&＃43;1&＃61;1/7.

3.4 多项式事件模型&＃xff08;NB-MEM&＃xff08;multinomial event model&＃xff09;&＃xff0c;向量x表示一个邮件&＃xff09;

对 3.2 提到的NB-MBEM模型目前有很多的扩展。比如将每个分量多值化&＃xff0c;即将P&＃xff08;x|y&＃xff09;由伯努利分布扩展到多项式分布&＃xff1b;再比如将连续变量值离散化&＃xff08;分段表示&＃xff09;。

目前将介绍第一种&＃xff0c;也就是将P&＃xff08;x|y&＃xff09;由伯努利分布扩展到多项式分布。这是与多元伯努利事件模型&＃xff08;NB-MBEM&＃xff09;有较大区别的NB模型&＃xff0c;即多项式事件模型&＃xff08;multinomial event model&＃xff0c;NB-MEM&＃xff09;。

首先&＃xff0c;NB-MBEM中的特种向量x的每个分量代表词典中该索引上的词语在本文中是否出现过&＃xff0c;取值范围为{0,1}&＃xff0c;特征向量的长度为词典的大小&＃xff1b;而在NB-MEM中&＃xff0c;特征向量x的每个分量的值使文本中处于该分量的位置的词语在词典中的索引&＃xff0c;其取值范围是{1,2&＃xff0c;....|V|}.|V|表示词典的大小&＃xff0c;特征向量的长度为相应样例文本中词语的数目。

example&＃xff1a;

NB-MBEM:一篇文档的特征向量可能如下所示&＃xff0c;表示一封邮件中出现了a和buy这两个词&＃xff1a;

&＃xff0c;n可以变化&＃xff0c;因为每封邮件的词的个数不同。然后我们对于每个xi随机从|V|个值中取一个&＃xff0c;这样就形成了一封邮件。这相当于重复投掷|V|面的骰子&＃xff0c;将观察值记录下来就形成了一封邮件。当然每个面的概率服从p(xi|y)&＃xff0c;而且每次试验条件独立。这样我们得到的邮件概率是。居然跟上面的一样&＃xff0c;那么不同点在哪呢&＃xff1f;注意第一个的n是字典中的全部的词&＃xff0c;下面这个n是邮件中的词个数。上面xi表示一个词是否出现&＃xff0c;只有0和1两个值&＃xff0c;两者概率和为1。下面的xi表示|V|中的一个值&＃xff0c;|V|个p(xi|y)相加和为1。是多值二项分布模型。上面的x向量都是0/1值&＃xff0c;下面的x的向量都是字典中的位置。

形式化表示为&＃xff1a;

m个训练样本表示为&＃xff1a;

表示第i个样本中&＃xff0c;共有ni个词&＃xff0c;每个词在字典中的编号为。

那么我们仍然按照朴素贝叶斯的方法求得最大似然估计概率为

其中P&＃xff08;y&＃xff09;表示是垃圾邮件的概率。在p&＃xff08;y&＃xff09;的前提下向你发送特殊关键词的概率。n表示的是邮件词的个数&＃xff0c;m是总样本数。

解得&＃xff0c;

φk|y&＃61;1表示某人向你发送垃圾邮件时&＃xff0c;他们会选择垃圾邮件出现的下一个词是k的概率。分子表示在样本中词k出现在垃圾邮件的次数。分母表示样本邮件中垃圾邮件所有词的总数。

φk|y&＃61;0表示某人向你发送非垃圾邮件时&＃xff0c;他们会选择非垃圾邮件出现的下一个词是k的概率。

φy垃圾邮件占总样本的比例。

举个例子&＃xff1a;&＃xff08;http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971903.html&＃xff09;

此时|V|&＃61;3&＃xff0c;n1&＃61;n2&＃61;2&＃xff0c;n3&＃61;n4&＃61;3&＃xff0c;m为总试验次数。

假如邮件中只有a&＃xff0c;b&＃xff0c;c这三词&＃xff0c;他们在词典的位置分别是1,2,3&＃xff0c;前两封邮件都只有2个词&＃xff0c;后两封有3个词。

Y&＃61;1是垃圾邮件。

那么&＃xff0c;

&＃xff08;在y&＃61;1的情况下出现x1-x3特征的次数所占出现词总数的比例&＃xff09;

&＃xff08;在y&＃61;0的情况下出现x1-x3特征的次数所占出现词总数的比例&＃xff09;

假如新来一封邮件为b&＃xff0c;c那么特征表示为{2,3}。

那么

那么该邮件是垃圾邮件概率是0.6。

注意这个公式与朴素贝叶斯的不同在于这里针对整体样本求的&＃xff0c;而朴素贝叶斯里面针对每个特征求的&＃xff0c;而且这里的特征值维度是参差不齐的。

这里如果假如拉普拉斯平滑&＃xff0c;得到公式为&＃xff1a;

表示每个k值至少发生过一次。注意这里分母加的是字典的总数&＃xff0c;表示这个词在这个字典中出现过一次。

另外朴素贝叶斯虽然有时候不是最好的分类方法&＃xff0c;但它简单有效&＃xff0c;而且速度快。