实现贝叶斯分类器_从头开始在Python中实现高斯朴素贝叶斯

Naive Bayes是一种非常方便&＃xff0c;流行且重要的机器学习算法&＃xff0c;尤其适用于文本分析和一般分类。在本文中&＃xff0c;我将讨论高斯朴素贝叶斯&＃xff1a;算法&＃xff0c;其实现和应用于微型维基百科数据集(维基百科中给出的数据集)。

算法&＃xff1a;

高斯朴素贝叶斯算法是一种概率算法。它涉及到对数据集中的类和给定类的测试数据分别进行先验概率和后验概率的计算。

先验概率的数学公式…eq-1)

所有类的先验概率都使用相同的公式计算。

eq-2)

给定c类的测试数据x的后验概率的数学公式&＃xff0c;它是给定c类的测试数据的所有特征的条件概率的乘积 .....eq-2)

但是&＃xff0c;如何获得给定类的测试数据特征的条件概率呢?

这由从高斯(正常)分布获得的概率给出。

eq-3)

给定一个类和x_i是一个测试数据特征&＃xff0c;得到该测试特征的条件概率的数学表达式&＃xff0c;c是一个类和相关的样本方差σ².....eq-3)

最后&＃xff0c;使用贝叶斯定理计算给定实例(测试实例)的每个类的条件概率。

给定测试数据x, c_i类条件概率的数学表达式 ... eq-4)

对所有类重复等式4)&＃xff0c;并且显示最高概率的类最终被声明为预测结果。

从头开始在Python中实现&＃xff1a;

如前所述&＃xff0c;从头开始编写算法时&＃xff0c;除了Numpy(它为Python提供了matlab类型的环境)和列表/字典相关的库之外&＃xff0c;没有使用其他库。4个模块实现了高斯朴素贝叶斯二元分类&＃xff0c;每个模块执行不同的操作。

&＃61;> pre_prob()&＃xff1a;它通过将标签集y作为输入&＃xff0c;按照eq-1)返回2个类的先验概率。Python实现如下&＃xff1a;

# Importing necessary libraries...import collections import numpy as npdef pre_prob(y): y_dict &＃61; collections.Counter(y) pre_probab &＃61; np.ones(2) for i in range(0, 2): pre_probab[i] &＃61; y_dict[i]/y.shape[0] return pre_probab

&＃61;> mean_var()&＃xff1a;在给定特征集X和标签集y作为输入的情况下&＃xff0c;该函数返回2个类标签(二元分类)的所有特征的均值和方差。Python实现如下&＃xff1a;

def mean_var(X, y): n_features &＃61; X.shape[1] m &＃61; np.ones((2, n_features)) v &＃61; np.ones((2, n_features)) n_0 &＃61; np.bincount(y)[np.nonzero(np.bincount(y))[0]][0] x0 &＃61; np.ones((n_0, n_features)) x1 &＃61; np.ones((X.shape[0] - n_0, n_features)) k &＃61; 0 for i in range(0, X.shape[0]): if y[i] &＃61;&＃61; 0: x0[k] &＃61; X[i] k &＃61; k &＃43; 1 k &＃61; 0 for i in range(0, X.shape[0]): if y[i] &＃61;&＃61; 1: x1[k] &＃61; X[i] k &＃61; k &＃43; 1 for j in range(0, n_features): m[0][j] &＃61; np.mean(x0.T[j]) v[0][j] &＃61; np.var(x0.T[j])*(n_0/(n_0 - 1)) m[1][j] &＃61; np.mean(x1.T[j]) v[1][j] &＃61; np.var(x1.T[j])*((X.shape[0]-n_0)/((X.shape[0] - n_0) - 1)) return m, v # mean and variance

&＃61;> prob_feature_class()&＃xff1a;通过将均值m&＃xff0c;方差v和测试数据x作为输入&＃xff0c;返回给定类c(eq-2)的测试数据x的后验概率的函数。Python时如下&＃xff1a;

def prob_feature_class(m, v, x): n_features &＃61; m.shape[1] pfc &＃61; np.ones(2) for i in range(0, 2): product &＃61; 1 for j in range(0, n_features): product &＃61; product * (1/sqrt(2*3.14*v[i][j])) * exp(-0.5 * pow((x[j] - m[i][j]),2)/v[i][j]) pfc[i] &＃61; product return pfc

&＃61;> GNB()&＃xff1a;最后通过获取测试实例x(eq-4)来计算2个类中每个类的条件概率。特征集X&＃xff0c;标签集y和测试数据x作为输入并返回

1. 所有特征的2个等级的平均值
2. 所有特征的2个类的方差
3. 数据集中2个类的先验概率
4. 测试数据的后验概率给出了每类2类
5. 给定这两类中的每一类的测试数据的后验概率
6. 高斯朴素贝叶斯算法给出的最终预测

GNB()的Python实现如下&＃xff1a;

def GNB(X, y, x): m, v &＃61; mean_var(X, y) pfc &＃61; prob_feature_class(m, v, x) pre_probab &＃61; pre_prob(y) pcf &＃61; np.ones(2) total_prob &＃61; 0 for i in range(0, 2): total_prob &＃61; total_prob &＃43; (pfc[i] * pre_probab[i]) for i in range(0, 2): pcf[i] &＃61; (pfc[i] * pre_probab[i])/total_prob prediction &＃61; int(pcf.argmax()) return m, v, pre_probab, pfc, pcf, prediction

高斯朴素贝叶斯在微型数据集中的应用

维基百科中给出的样本性别数据集已用于实施的高斯朴素贝叶斯的应用。

朴素贝叶斯分类器--Dataset(https://en.wikipedia.org/wiki/Naive_Bayes_classifier#Sex_classification)

问题陈述&＃xff1a;“ 考虑到身高(以英尺为单位)&＃xff0c;体重(以磅为单位)和足部尺寸(以英寸为单位)&＃xff0c;预测该人是男性还是女性 ”

&＃61;>数据读取使用Pandas完成&＃xff0c;因为数据集包含列的文本标题。

import pandas as pdimport numpy as npdata &＃61; pd.read_csv(&＃39;gender.csv&＃39;, delimiter &＃61; &＃39;,&＃39;)data.head()

&＃61;>对Wikipedia中使用的测试实例执行4-module-Gaussian Naive Bayes。

朴素贝叶斯分类器 - 测试(https://en.wikipedia.org/wiki/Naive_Bayes_classifier#Testing)

# converting from pandas to numpy ...X_train &＃61; np.array(data.iloc[:,[1,2,3]])y_train &＃61; np.array(data[&＃39;Person&＃39;])for i in range(0,y_train.shape[0]): if y_train[i] &＃61;&＃61; "Female": y_train[i] &＃61; 0 else: y_train[i] &＃61; 1x &＃61; np.array([6, 130, 8]) # test instance used in Wikipedia# executing the Gaussian Naive Bayes for the test instance...m, v, pre_probab, pfc, pcf, prediction &＃61; GNB(X_train, y_train, x)print(m) # Output given below...(mean for 2 classes of all features)print(v) # Output given below..(variance for 2 classes of features)print(pre_probab) # Output given below.........(prior probabilities)print(pfc) # Output given below............(posterior probabilities)print(pcf) # Conditional Probability of the classes given test-dataprint(prediction) # Output given below............(final prediction)

所有特征(列)的2个类(行)的均值

所有特征(列)的2类(行)的样本方差

类的先验概率&＃xff0c; Female and Male

给出两个类别中的每一个的测试数据的后验概率

给出测试数据的2个类的最终条件概率

最终预测

最后&＃xff0c;计算和预测结果符合使用相同数据集的Wikipedia中显示的结果。