PythonSklearn.metrics简介及应用示例

Python Sklearn.metrics 简介及应用示例

利用Python进行各种机器学习算法的实现时&＃xff0c;经常会用到sklearn&＃xff08;scikit-learn&＃xff09;这个模块/库。

无论利用机器学习算法进行回归、分类或者聚类时&＃xff0c;评价指标&＃xff0c;即检验机器学习模型效果的定量指标&＃xff0c;都是一个不可避免且十分重要的问题。因此&＃xff0c;结合scikit-learn主页上的介绍&＃xff0c;以及网上大神整理的一些资料&＃xff0c;对常用的评价指标及其实现、应用进行简单介绍。

一、 scikit-learn安装

网上教程很多&＃xff0c;此处不再赘述&＃xff0c;具体可以参照&＃xff1a;
https://www.cnblogs.com/zhangqunshi/p/6646987.html
此外&＃xff0c;如果安装了Anoconda&＃xff0c;可以直接从Anoconda Navigator——Environment里面搜索添加。
pip install -U scikit-learn

二、 scikit-learn.metrics导入与调用

有两种方式导入&＃xff1a;

方式一&＃xff1a;

from sklearn.metrics import 评价指标函数名称

例如&＃xff1a;

from sklearn.metrics import mean_squared_error
from sklearn.metrics import r2_score

调用方式为&＃xff1a;直接使用函数名调用
计算均方误差mean squared error

mse &＃61; mean_squared_error(y_test, y_pre)

计算回归的决定系数R2

R2 &＃61; r2_score(y_test,y_pre)

方式二&＃xff1a;

from sklearn import metrics

调用方式为&＃xff1a;metrics.评价指标函数名称&＃xff08;parameter&＃xff09;

例如&＃xff1a;
计算均方误差mean squared error

mse &＃61; metrics.mean_squared_error(y_test, y_pre)

计算回归的决定系数R2

R2 &＃61; metrics.r2_score(y_test,y_pre)

三、 scikit-learn.metrics里各种指标简介

简单介绍参见&＃xff1a;
https://www.cnblogs.com/mdevelopment/p/9456486.html
详细介绍参见&＃xff1a;
https://www.cnblogs.com/harvey888/p/6964741.html
官网介绍&＃xff1a;
https://scikit-learn.org/stable/modules/classes.html#module-sklearn.metrics

转自第一个链接的内容&＃xff0c;简单介绍内容如下&＃xff1a;

回归指标

explained_variance_score(y_true, y_pred, sample_weight&＃61;None, multioutput&＃61;‘uniform_average’)&＃xff1a;回归方差(反应自变量与因变量之间的相关程度)

mean_absolute_error(y_true,y_pred,sample_weight&＃61;None,
multioutput&＃61;‘uniform_average’)&＃xff1a;
平均绝对误差

mean_squared_error(y_true, y_pred, sample_weight&＃61;None, multioutput&＃61;‘uniform_average’)&＃xff1a;均方差

median_absolute_error(y_true, y_pred) 中值绝对误差

r2_score(y_true, y_pred,sample_weight&＃61;None,multioutput&＃61;‘uniform_average’) &＃xff1a;R平方值

分类指标

accuracy_score(y_true,y_pre) : 精度

auc(x, y, reorder&＃61;False) : ROC曲线下的面积;较大的AUC代表了较好的performance。

average_precision_score(y_true, y_score, average&＃61;‘macro’, sample_weight&＃61;None):根据预测得分计算平均精度(AP)

brier_score_loss(y_true, y_prob, sample_weight&＃61;None, pos_label&＃61;None):The smaller the Brier score, the better.

confusion_matrix(y_true, y_pred, labels&＃61;None, sample_weight&＃61;None):通过计算混淆矩阵来评估分类的准确性 返回混淆矩阵

f1_score(y_true, y_pred, labels&＃61;None, pos_label&＃61;1, average&＃61;‘binary’, sample_weight&＃61;None): F1值
　　F1 &＃61; 2 * (precision * recall) / (precision &＃43; recall) precision(查准率)&＃61;TP/(TP&＃43;FP) recall(查全率)&＃61;TP/(TP&＃43;FN)

log_loss(y_true, y_pred, eps&＃61;1e-15, normalize&＃61;True, sample_weight&＃61;None, labels&＃61;None)&＃xff1a;对数损耗&＃xff0c;又称逻辑损耗或交叉熵损耗

precision_score(y_true, y_pred, labels&＃61;None, pos_label&＃61;1, average&＃61;‘binary’,) &＃xff1a;查准率或者精度&＃xff1b; precision(查准率)&＃61;TP/(TP&＃43;FP)

recall_score(y_true, y_pred, labels&＃61;None, pos_label&＃61;1, average&＃61;‘binary’, sample_weight&＃61;None)&＃xff1a;查全率 &＃xff1b;recall(查全率)&＃61;TP/(TP&＃43;FN)

roc_auc_score(y_true, y_score, average&＃61;‘macro’, sample_weight&＃61;None)&＃xff1a;计算ROC曲线下的面积就是AUC的值&＃xff0c;the larger the better

roc_curve(y_true, y_score, pos_label&＃61;None, sample_weight&＃61;None, drop_intermediate&＃61;True)&＃xff1b;计算ROC曲线的横纵坐标值&＃xff0c;TPR&＃xff0c;FPR
　　TPR &＃61; TP/(TP&＃43;FN) &＃61; recall(真正例率&＃xff0c;敏感度) FPR &＃61; FP/(FP&＃43;TN)(假正例率&＃xff0c;1-特异性)

四、 一个应用实例

结合官网的案例&＃xff0c;利用自己的数据&＃xff0c;实现的一个应用实例&＃xff1a;

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn import ensemble
from sklearn import metrics

##############################################################################
# Load data
data &＃61; pd.read_csv(&＃39;Data for train_0.003D.csv&＃39;)
y &＃61; data.iloc[:,0]
X &＃61; data.iloc[:,1:]
offset &＃61; int(X.shape[0] * 0.9)
X_train, y_train &＃61; X[:offset], y[:offset]
X_test, y_test &＃61; X[offset:], y[offset:]

##############################################################################
# Fit regression model
params &＃61; {&＃39;n_estimators&＃39;: 500, &＃39;max_depth&＃39;: 4, &＃39;min_samples_split&＃39;: 2,
&＃39;learning_rate&＃39;: 0.01, &＃39;loss&＃39;: &＃39;ls&＃39;}
clf &＃61; ensemble.GradientBoostingRegressor(**params)

clf.fit(X_train, y_train)
y_pre &＃61; clf.predict(X_test)

# Calculate metrics
mse &＃61; metrics.mean_squared_error(y_test, y_pre)
print("MSE: %.4f" % mse)

mae &＃61; metrics.mean_absolute_error(y_test, y_pre)
print("MAE: %.4f" % mae)

R2 &＃61; metrics.r2_score(y_test,y_pre)
print("R2: %.4f" % R2)

##############################################################################
# Plot training deviance

# compute test set deviance
test_score &＃61; np.zeros((params[&＃39;n_estimators&＃39;],), dtype&＃61;np.float64)

for i, y_pred in enumerate(clf.staged_predict(X_test)):
test_score[i] &＃61; clf.loss_(y_test, y_pred)

plt.figure(figsize&＃61;(12, 6))
plt.subplot(1, 2, 1)
plt.title(&＃39;Deviance&＃39;)
plt.plot(np.arange(params[&＃39;n_estimators&＃39;]) &＃43; 1, clf.train_score_, &＃39;b-&＃39;,
label&＃61;&＃39;Training Set Deviance&＃39;)
plt.plot(np.arange(params[&＃39;n_estimators&＃39;]) &＃43; 1, test_score, &＃39;r-&＃39;,
label&＃61;&＃39;Test Set Deviance&＃39;)
plt.legend(loc&＃61;&＃39;upper right&＃39;)
plt.xlabel(&＃39;Boosting Iterations&＃39;)
plt.ylabel(&＃39;Deviance&＃39;)

##############################################################################
# Plot feature importance
feature_importance &＃61; clf.feature_importances_
# make importances relative to max importance
feature_importance &＃61; 100.0 * (feature_importance / feature_importance.max())
sorted_idx &＃61; np.argsort(feature_importance)
pos &＃61; np.arange(sorted_idx.shape[0]) &＃43; .5
plt.subplot(1, 2, 2)
plt.barh(pos, feature_importance[sorted_idx], align&＃61;&＃39;center&＃39;)
plt.yticks(pos, X.columns[sorted_idx])

plt.xlabel(&＃39;Relative Importance&＃39;)
plt.title(&＃39;Variable Importance&＃39;)
plt.show()