HardVoting与SoftVoting的对比

一、Hard Voting 与 Soft Voting 的对比

　1&＃xff09;使用方式

• voting &＃61; &＃39;hard&＃39;&＃xff1a;表示最终决策方式为 Hard Voting Classifier&＃xff1b;
• voting &＃61; &＃39;soft&＃39;&＃xff1a;表示最终决策方式为 Soft Voting Classifier&＃xff1b;

　2&＃xff09;思想

• Hard Voting Classifier&＃xff1a;根据少数服从多数来定最终结果&＃xff1b;
• Soft Voting Classifier&＃xff1a;将所有模型预测样本为某一类别的概率的平均值作为标准&＃xff0c;概率最高的对应的类型为最终的预测结果&＃xff1b;

• Hard Voting

• 模型 1&＃xff1a;A - 99%、B - 1%&＃xff0c;表示模型 1 认为该样本是 A 类型的概率为 99%&＃xff0c;为 B 类型的概率为 1%&＃xff1b;
• 

• Soft Voting

• 将所有模型预测样本为某一类别的概率的平均值作为标准&＃xff1b;
• 

• Hard Voting 投票方式的弊端&＃xff1a;

1. 如上图&＃xff0c;最终的分类结果不是由概率值更大的模型 1 和模型 4 决定&＃xff0c;而是由概率值相对较低的模型 2/3/5 来决定的&＃xff1b;

二、各分类算法的概率计算

• Soft Voting 的决策方式&＃xff0c;要求集合的每一个模型都能估计概率&＃xff1b;

　1&＃xff09;逻辑回归算法

• P &＃61; σ( y_predict )
• 

　2&＃xff09;kNN 算法

• k 个样本点中&＃xff0c;数量最多的样本所对应的类别作为最终的预测结果&＃xff1b;
• kNN 算法也可以考虑权值&＃xff0c;根据选中的 k 个点距离待预测点的距离不同&＃xff0c;k 个点的权值也不同&＃xff1b;

• P &＃61; n / k
• n&＃xff1a;k 个样本中&＃xff0c;最终确定的类型的个数&＃xff1b;如下图&＃xff0c;最终判断为 红色类型&＃xff0c;概率&＃xff1a;p &＃61; n/k &＃61; 2 / 3&＃xff1b;

　3&＃xff09;决策树算法

• 通常在“叶子”节点处的信息熵或者基尼系数不为 0&＃xff0c;数据集中包含多种类别的数据&＃xff0c;以数量最多的样本对应的类别作为最终的预测结果&＃xff1b;&＃xff08;和 kNN 算法类似&＃xff09;

• P &＃61; n / N 

1. n&＃xff1a;“叶子”中数量最多的样本的类型对应的样本数量&＃xff1b;
2. N&＃xff1a;“叶子”中样本总量&＃xff1b;

　4&＃xff09;SVM 算法

• 在 scikit-learn 中的 SVC() 中的一个参数&＃xff1a;probability

1. probability &＃61; True&＃xff1a;SVC() 返回样本为各个类别的概率&＃xff1b;&＃xff08;默认为 False&＃xff09;

   from sklearn.svm import SVC
   svc &＃61; SVC(probability&＃61;True)
   

2. 计算样本为各个类别的概率需要花费较多时间&＃xff1b;

三、scikit-learn 中使用集成分类器&＃xff1a;VotingClassifier

　1&＃xff09;模拟数据集

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_splitX, y &＃61; datasets.make_moons(n_samples&＃61;500, noise&＃61;0.3, random_state&＃61;42)
X_train, X_test, y_train, y_test &＃61; train_test_split(X, y, random_state&＃61;42

　2&＃xff09;voting &＃61; &＃39;hard&＃39;&＃xff1a;使用 Hard Voting 做决策

from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import VotingClassifier# 实例化
voting_clf &＃61; VotingClassifier(estimators&＃61;[(&＃39;log_clf&＃39;, LogisticRegression()),(&＃39;svm_clf&＃39;, SVC()),(&＃39;dt_clf&＃39;, DecisionTreeClassifier(random_state&＃61;666))
], voting&＃61;&＃39;hard&＃39;)voting_clf.fit(X_train, y_train)
voting_clf.score(X_test, y_test)
# 准确率&＃xff1a;0.896

　3&＃xff09;voting &＃61; &＃39;soft&＃39;&＃xff1a;使用 Soft Voting 做决策​​​​​​​

voting_clf &＃61; VotingClassifier(estimators&＃61;[(&＃39;log_clf&＃39;, LogisticRegression()),(&＃39;svm_clf&＃39;, SVC(probability&＃61;True)),(&＃39;dt_clf&＃39;, DecisionTreeClassifier(random_state&＃61;666))
], voting&＃61;&＃39;soft&＃39;)voting_clf.fit(X_train, y_train)
voting_clf.score(X_test, y_test)
# 准确率&＃xff1a;0.912

• 使用 Soft Voting 时&＃xff0c;SVC() 算法的参数&＃xff1a;probability&＃61;True