《老饼讲解机器学习》http://ml.bbbdata.com/teach#96

目录

一. sklearn决策树完整入参设置

 二. 参数解释

(一) 训练参数 

 (二) 模型训练

(三) 模型训练后方法与属性 

三.代码 

一. sklearn决策树完整入参设置

clf &＃61; tree.DecisionTreeClassifier(criterion&＃61;"gini",splitter&＃61;"best",max_depth&＃61;None,min_samples_split&＃61;2,min_samples_leaf&＃61;1,min_weight_fraction_leaf&＃61;0.,max_features&＃61;None,random_state&＃61;None,max_leaf_nodes&＃61;None,min_impurity_decrease&＃61;0.,min_impurity_split&＃61;None,class_weight&＃61;None,presort&＃61;&＃39;deprecated&＃39;,ccp_alpha&＃61;0.0) # sk-learn的决策树模型

 二. 参数解释

(一) 训练参数 

常用参数&＃xff08;因场景不同&＃xff0c;以下参数最为常用&＃xff09;
class_weight  &＃xff1a;设置各类别样本的权重&＃xff0c;默认是各个样本权重一样&＃xff0c;都为 1.
ccp_alpha    &＃xff1a;剪枝时的alpha系数&＃xff0c;需要剪枝时设置该参数&＃xff0c;默认值是不会剪枝的。
random_state &＃xff1a;需要每次训练都一样时&＃xff0c;就需要设置该参数。
criterion      &＃xff1a;节点质量评估函数&＃xff08;gini,entropy&＃xff09; &＃xff08;看似常用&＃xff0c;实际不常用。&＃xff09;

预防过拟合参数&＃xff08;为防过拟合&＃xff0c;可以尝试调整以下参数&＃xff09;
min_samples_leaf      &＃xff1a;叶子节点最小样本数。
min_samples_split      &＃xff1a;节点分枝最小样本个数
max_depth         &＃xff1a;树分枝的最大深度
min_weight_fraction_leaf &＃xff1a;叶子节点最小权重和
min_impurity_decrease  &＃xff1a;节点分枝最小纯度增长量
max_leaf_nodes       &＃xff1a;最大叶子节点数

树的多样性参数&＃xff08;训练弱树常用以下参数&＃xff09;&＃xff1a;
max_features&＃xff1a;特征最大查找个数
splitter      &＃xff1a;分枝时变量选择方式

明细解析如下&＃xff1a; 

注&＃xff1a;回归树DecisionTreeRegressor的入参与分类树基本相同&＃xff0c;不同之处&＃xff1a;
1.criterion可选值&＃xff1a;mse:默认修士&＃xff0c;均方差&＃xff0c;mae&＃xff1a;平均绝对差&＃xff0c;friedman_mse&＃xff1a;
2.没有class_weight

 (二) 模型训练

clf.fit(X,y) &＃xff1a;模型训练 

(三) 模型训练后方法与属性 

-------------预测与评估---------------------
clf.predict(X)                   &＃xff1a;预测X的类别
clf.predict_proba(X)        &＃xff1a;预测X属于各类的概率
clf.predict_log_proba(X) &＃xff1a;相当于 np.log(clf.predict_proba())
clf.apply(X)                     &＃xff1a;返回样本预测节点的索引
clf.score(X,y)                  &＃xff1a;返回准确率&＃xff0c;即模型预测值与y不同的个数占比(支持样本权重&＃xff1a;clf.score(X,y,sample_weight&＃61;sample_weight))
clf.decision_path(np.array([0 ,1 ,2 ,1 ]).reshape(1, -1)).todense() : 返回决策路径&＃xff1a;格式[ 1 1 0 0 0] &＃xff0c;它代表通过了第0&＃xff0c;第1个节点。

-----------------剪枝-------------------------
clf.cost_complexity_pruning_path(X, y) &＃xff1a;返回 CCP(Cost Complexity Pruning代价复杂度剪枝)法的剪枝路径。
备注&＃xff1a; CCP的计算方法请参考文章&＃xff1a;《决策树后剪枝&＃xff1a;CCP剪枝法》

--------------树信息--------------------------
clf.get_depth()           &＃xff1a;返回树的深度
clf.get_n_leaves()      &＃xff1a;叶子节点个数
clf.tree_.node_count  &＃xff1a;总节点个数

--------------树明细数据--------------------------
左节点编号  :  clf.tree_.children_left  
右节点编号  :  clf.tree_.children_right  
分割的变量  :  clf.tree_.feature   
分割的阈值  :  clf.tree_.threshold
不纯度(gini) :  clf.tree_.impurity
样本个数     :  clf.tree_.n_node_samples  
样本分布     :  clf.tree_.value  
备注&＃xff1a;详细解说请参考文章&＃xff1a;《决策树训练后的模型数据》

--------------其它--------------------------
clf.feature_importances_  &＃xff1a;各个特征的权重。
clf.get_params()                &＃xff1a;查看模型的入参设置
如果想获取节点上样本的数据&＃xff0c;sklearn不直接提供&＃xff0c;但可以借用 clf.apply(X) &＃xff0c;把原数据作为输入&＃xff0c;间接获得。
备注&＃xff1a;特征权重的计算方法&＃xff1a;《决策特征权重feature_importances计算方法》

三.代码 

from sklearn.datasets import load_iris
from sklearn import tree#----------------数据准备----------------------------
iris &＃61; load_iris() # 加载数据
#---------------模型训练----------------------------------
clf &＃61; tree.DecisionTreeClassifier(criterion&＃61;"gini",splitter&＃61;"best",max_depth&＃61;None,min_samples_split&＃61;2,min_samples_leaf&＃61;1,min_weight_fraction_leaf&＃61;0.,max_features&＃61;None,random_state&＃61;None,max_leaf_nodes&＃61;None,min_impurity_decrease&＃61;0.,min_impurity_split&＃61;None,class_weight&＃61;None,presort&＃61;&＃39;deprecated&＃39;,ccp_alpha&＃61;0.0) # sk-learn的决策树模型
clf &＃61; clf.fit(iris.data, iris.target) # 用数据训练树模型构建()
r &＃61; tree.export_text(clf, feature_names&＃61;iris[&＃39;feature_names&＃39;]) #训练好的决策树
#---------------模型预测结果------------------------
text_x &＃61; iris.data[[0,1,50,51,100,101], :]
pred_target_prob &＃61; clf.predict_proba(text_x) # 预测类别概率
pred_target &＃61; clf.predict(text_x) # 预测类别#---------------打印结果---------------------------
print("\n&＃61;&＃61;&＃61;模型&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;")
print(r)
print("\n&＃61;&＃61;&＃61;测试数据&＃xff1a;&＃61;&＃61;&＃61;&＃61;&＃61;")
print(text_x)
print("\n&＃61;&＃61;&＃61;预测所属类别概率&＃xff1a;&＃61;&＃61;&＃61;&＃61;&＃61;")
print(pred_target_prob)
print("\n&＃61;&＃61;&＃61;预测所属类别&＃xff1a;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;")
print(pred_target)