【Python实例第15讲】分类概率图

机器学习训练营——机器学习爱好者的自由交流空间&＃xff08;入群联系qq&＃xff1a;2279055353&＃xff09;

这个例子将用图形表示不同分类器的分类概率。所谓“分类概率”&＃xff0c;是指某个数据点属于各个类别的概率。将所有数据点属于任何类的概率&＃xff0c;用颜色深浅表示&＃xff0c;作出分类概率图。

在这里&＃xff0c;我们使用一个三类的数据集&＃xff0c;分别用支持向量机(SVC)、L1 and L2惩罚的Logistic回归和高斯过程分类。默认情况下&＃xff0c;线性SVC并不是一个概率分类器&＃xff0c;但是可以通过设置参数probability&＃61;True改变。具有One v.s. Rest的Logistic回归并不是一个多类别分类器&＃xff0c;因此&＃xff0c;在分隔类2&＃xff0c;类3时要比其它分类器复杂些。

实例详解

首先&＃xff0c;导入必需的库。

print(__doc__)# Author: Alexandre Gramfort
# License: BSD 3 clauseimport matplotlib.pyplot as plt
import numpy as npfrom sklearn.metrics import accuracy_score
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.gaussian_process import GaussianProcessClassifier
from sklearn.gaussian_process.kernels import RBF
from sklearn import datasets


本例使用的是鸢尾花数据集iris, 并且只用前2个特征作图。

iris &＃61; datasets.load_iris()
X &＃61; iris.data[:, 0:2] # we only take the first two features for visualization
y &＃61; iris.targetn_features &＃61; X.shape[1]


定义不同的分类器&＃xff0c;它们是&＃xff1a;

• L1惩罚的Logistic回归

• L2惩罚的多类Logistic回归

• L2惩罚的二类Logistic回归

• 线性SVC

• 高斯过程分类GPC

C &＃61; 10
kernel &＃61; 1.0 * RBF([1.0, 1.0]) # for GPC# Create different classifiers.
classifiers &＃61; {&＃39;L1 logistic&＃39;: LogisticRegression(C&＃61;C, penalty&＃61;&＃39;l1&＃39;,solver&＃61;&＃39;saga&＃39;,multi_class&＃61;&＃39;multinomial&＃39;,max_iter&＃61;10000),&＃39;L2 logistic (Multinomial)&＃39;: LogisticRegression(C&＃61;C, penalty&＃61;&＃39;l2&＃39;,solver&＃61;&＃39;saga&＃39;,multi_class&＃61;&＃39;multinomial&＃39;,max_iter&＃61;10000),&＃39;L2 logistic (OvR)&＃39;: LogisticRegression(C&＃61;C, penalty&＃61;&＃39;l2&＃39;,solver&＃61;&＃39;saga&＃39;,multi_class&＃61;&＃39;ovr&＃39;,max_iter&＃61;10000),&＃39;Linear SVC&＃39;: SVC(kernel&＃61;&＃39;linear&＃39;, C&＃61;C, probability&＃61;True,random_state&＃61;0),&＃39;GPC&＃39;: GaussianProcessClassifier(kernel)
}n_classifiers &＃61; len(classifiers)


画出分类概率图。


plt.figure(figsize&＃61;(3 * 2, n_classifiers * 2))
plt.subplots_adjust(bottom&＃61;.2, top&＃61;.95)xx &＃61; np.linspace(3, 9, 100)
yy &＃61; np.linspace(1, 5, 100).T
xx, yy &＃61; np.meshgrid(xx, yy)
Xfull &＃61; np.c_[xx.ravel(), yy.ravel()]for index, (name, classifier) in enumerate(classifiers.items()):classifier.fit(X, y)y_pred &＃61; classifier.predict(X)accuracy &＃61; accuracy_score(y, y_pred)print("Accuracy (train) for %s: %0.1f%% " % (name, accuracy * 100))# View probabilities:probas &＃61; classifier.predict_proba(Xfull)n_classes &＃61; np.unique(y_pred).sizefor k in range(n_classes):plt.subplot(n_classifiers, n_classes, index * n_classes &＃43; k &＃43; 1)plt.title("Class %d" % k)if k &＃61;&＃61; 0:plt.ylabel(name)imshow_handle &＃61; plt.imshow(probas[:, k].reshape((100, 100)),extent&＃61;(3, 9, 1, 5), origin&＃61;&＃39;lower&＃39;)plt.xticks(())plt.yticks(())idx &＃61; (y_pred &＃61;&＃61; k)if idx.any():plt.scatter(X[idx, 0], X[idx, 1], marker&＃61;&＃39;o&＃39;, c&＃61;&＃39;w&＃39;, edgecolor&＃61;&＃39;k&＃39;)ax &＃61; plt.axes([0.15, 0.04, 0.7, 0.05])
plt.title("Probability")
plt.colorbar(imshow_handle, cax&＃61;ax, orientation&＃61;&＃39;horizontal&＃39;)plt.show()


精彩内容&＃xff0c;请关注微信公众号&＃xff1a;统计学习与大数据