机器学习的评估指标：ROC/AUC

机器学习&＃xff1a;ROC/AUC作为机器学习的评估指标非常重要&＃xff0c;也是面试中经常出现的问题&＃xff08;80%都会问到&＃xff09;。其实&＃xff0c;理解它并不是非常难&＃xff0c;但是好多朋友都遇到了一个相同的问题&＃xff0c;那就是&＃xff1a;每次看书的时候都很明白&＃xff0c;但回过头就忘了&＃xff0c;经常容易将概念弄混。还有的朋友面试之前背下来了&＃xff0c;但是一紧张大脑一片空白全忘了&＃xff0c;导致回答的很差。

我在之前的面试过程中也遇到过类似的问题&＃xff0c;我的面试经验是&＃xff1a;一般笔试题遇到选择题基本都会考这个率&＃xff0c;那个率&＃xff0c;或者给一个场景让你选用哪个。面试过程中也被问过很多次&＃xff0c;比如什么是AUC/ROC&＃xff1f;横轴纵轴都代表什么&＃xff1f;有什么优点&＃xff1f;为什么要使用它&＃xff1f;

我记得在我第一次回答的时候&＃xff0c;我将准确率&＃xff0c;精准率&＃xff0c;召回率等概念混淆了&＃xff0c;最后一团乱。回去以后我从头到尾梳理了一遍所有相关概念&＃xff0c;后面的面试基本都回答地很好。现在想将自己的一些理解分享给大家&＃xff0c;希望读完本篇可以彻底记住ROC/AUC的概念。

▌什么是性能度量&＃xff1f;

我们都知道机器学习要建模&＃xff0c;但是对于模型性能的好坏&＃xff08;即模型的泛化能力&＃xff09;&＃xff0c;我们并不知道是怎样的&＃xff0c;很可能这个模型就是一个差的模型&＃xff0c;泛化能力弱&＃xff0c;对测试集不能很好的预测或分类。那么如何知道这个模型是好是坏呢&＃xff1f;我们必须有个评判的标准。为了了解模型的泛化能力&＃xff0c;我们需要用某个指标来衡量&＃xff0c;这就是性能度量的意义。有了一个指标&＃xff0c;我们就可以对比不同模型了&＃xff0c;从而知道哪个模型相对好&＃xff0c;那个模型相对差&＃xff0c;并通过这个指标来进一步调参逐步优化我们的模型。

当然&＃xff0c;对于分类和回归两类监督学习&＃xff0c;分别有各自的评判标准。本篇我们主要讨论与分类相关的一些指标&＃xff0c;因为AUC/ROC就是用于分类的性能度量标准。

▌混淆矩阵&＃xff0c;准确率&＃xff0c;精准率&＃xff0c;召回率

1. 混淆矩阵

在介绍各个率之前&＃xff0c;先来介绍一下混淆矩阵。如果我们用的是个二分类的模型&＃xff0c;那么把预测情况与实际情况的所有结果两两混合&＃xff0c;结果就会出现以下4种情况&＃xff0c;就组成了混淆矩阵。

由于1和0是数字&＃xff0c;阅读性不好&＃xff0c;所以我们分别用P和N表示1和0两种结果。变换之后为PP&＃xff0c;PN&＃xff0c;NP&＃xff0c;NN&＃xff0c;阅读性也很差&＃xff0c;我并不能轻易地看出来预测的正确性与否。因此&＃xff0c;为了能够更清楚地分辨各种预测情况是否正确&＃xff0c;我们将其中一个符号修改为T和F&＃xff0c;以便于分辨出结果。

P&＃xff08;Positive&＃xff09;&＃xff1a;代表1

N&＃xff08;Negative&＃xff09;&＃xff1a;代表0

T&＃xff08;True&＃xff09;&＃xff1a;代表预测正确

F&＃xff08;False&＃xff09;&＃xff1a;代表错误

按照上面的字符表示重新分配矩阵&＃xff0c;混淆矩阵就变成了下面这样&＃xff1a;  

将这种表示方法总结如下&＃xff0c;可分为两部分&＃xff1a;

  因此对于这种表示方法可以这么简单的理解&＃xff1a;先看 ①预测结果&＃xff08;P/N&＃xff09;&＃xff0c;再根据②实际表现对比预测结果&＃xff0c;给出判断结果&＃xff08;T/F&＃xff09;。按这个顺序理解&＃xff0c;这四种情况就很好记住了。

TP&＃xff1a;预测为1&＃xff0c;预测正确&＃xff0c;即实际1

FP&＃xff1a;预测为1&＃xff0c;预测错误&＃xff0c;即实际0

FN&＃xff1a;预测为0&＃xff0c;预测错确&＃xff0c;即实际1

TN&＃xff1a;预测为0&＃xff0c;预测正确即&＃xff0c;实际0

1. 准确率

既然是个分类指标&＃xff0c;我们可以很自然的想到准确率&＃xff0c;准确率的定义是预测正确的结果占总样本的百分比&＃xff0c;其公式如下&＃xff1a; 准确率&＃61;(TP&＃43;TN)/(TP&＃43;TN&＃43;FP&＃43;FN) 

虽然准确率可以判断总的正确率&＃xff0c;但是在样本不平衡的情况下&＃xff0c;并不能作为很好的指标来衡量结果。举个简单的例子&＃xff0c;比如在一个总样本中&＃xff0c;正样本占90%&＃xff0c;负样本占10%&＃xff0c;样本是严重不平衡的。对于这种情况&＃xff0c;我们只需要将全部样本预测为正样本即可得到90%的高准确率&＃xff0c;但实际上我们并没有很用心的分类&＃xff0c;只是随便无脑一分而已。这就说明了&＃xff1a;由于样本不平衡的问题&＃xff0c;导致了得到的高准确率结果含有很大的水分。即如果样本不平衡&＃xff0c;准确率就会失效。

正因为如此&＃xff0c;也就衍生出了其它两种指标&＃xff1a;精准率和召回率。

1. 精准率

精准率&＃xff08;Precision&＃xff09;又叫查准率&＃xff0c;它是针对****预测结果而言的&＃xff0c;它的含义是在所有被预测为正的样本中实际为正的样本的概率&＃xff0c;意思就是在预测为正样本的结果中&＃xff0c;我们有多少把握可以预测正确&＃xff0c;其公式如下&＃xff1a; 精准率&＃61;TP/(TP&＃43;FP) 

精准率和准确率看上去有些类似&＃xff0c;但是完全不同的两个概念。精准率代表对正样本结果中的预测准确程度&＃xff0c;而准确率则代表整体的预测准确程度&＃xff0c;既包括正样本&＃xff0c;也包括负样本。

1. 召回率

召回率&＃xff08;Recall&＃xff09;又叫查全率&＃xff0c;它是针对原样本而言的&＃xff0c;它的含义是在实际为正的样本中被预测为正样本的概率&＃xff0c;其公式如下&＃xff1a; 精准率&＃61;TP/(TP&＃43;FN)

召回率的应用场景&＃xff1a;比如拿网贷违约率为例&＃xff0c;相对好用户&＃xff0c;我们更关心坏用户&＃xff0c;不能错放过任何一个坏用户。因为如果我们过多的将坏用户当成好用户&＃xff0c;这样后续可能发生的违约金额会远超过好用户偿还的借贷利息金额&＃xff0c;造成严重偿失。召回率越高&＃xff0c;代表实际坏用户被预测出来的概率越高&＃xff0c;它的含义类似&＃xff1a;宁可错杀一千&＃xff0c;绝不放过一个。

1. 精准率和召回率的关系&＃xff0c;F1分数

通过上面的公式&＃xff0c;我们发现&＃xff1a;精准率和召回率的分子是相同&＃xff0c;都是TP&＃xff0c;但分母是不同的&＃xff0c;一个是&＃xff08;TP&＃43;FP&＃xff09;&＃xff0c;一个是&＃xff08;TP&＃43;FN&＃xff09;。两者的关系可以用一个P-R图来展示&＃xff1a;

如何理解P-R&＃xff08;查准率-查全率&＃xff09;这条曲线&＃xff1f;

有的朋友疑惑&＃xff1a;这条曲线是根据什么变化的&＃xff1f;为什么是这个形状的曲线&＃xff1f;其实这要从排序型模型说起。拿逻辑回归举例&＃xff0c;逻辑回归的输出是一个0到1之间的概率数字&＃xff0c;因此&＃xff0c;如果我们想要根据这个概率判断用户好坏的话&＃xff0c;我们就必须定义一个阈值。通常来讲&＃xff0c;逻辑回归的概率越大说明越接近1&＃xff0c;也就可以说他是坏用户的可能性更大。比如&＃xff0c;我们定义了阈值为0.5&＃xff0c;即概率小于0.5的我们都认为是好用户&＃xff0c;而大于0.5都认为是坏用户。因此&＃xff0c;对于阈值为0.5的情况下&＃xff0c;我们可以得到相应的一对查准率和查全率。

但问题是&＃xff1a;这个阈值是我们随便定义的&＃xff0c;****我们并不知道这个阈值是否符合我们的要求。因此&＃xff0c;为了找到一个最合适的阈值满足我们的要求&＃xff0c;我们就必须遍历0到1之间所有的阈值&＃xff0c;而每个阈值下都对应着一对查准率和查全率&＃xff0c;从而我们就得到了这条曲线。

有的朋友又问了&＃xff1a;如何找到最好的阈值点呢&＃xff1f;首先&＃xff0c;需要说明的是我们对于这两个指标的要求&＃xff1a;我们希望查准率和查全率同时都非常高。但实际上这两个指标是一对矛盾体&＃xff0c;无法做到双高。图中明显看到&＃xff0c;如果其中一个非常高&＃xff0c;另一个肯定会非常低。选取合适的阈值点要根据实际需求&＃xff0c;比如我们想要高的查全率&＃xff0c;那么我们就会牺牲一些查准率&＃xff0c;在保证查全率最高的情况下&＃xff0c;查准率也不那么低。

F1分数

但通常&＃xff0c;如果想要找到二者之间的一个平衡点&＃xff0c;我们就需要一个新的指标&＃xff1a;F1分数。F1分数同时考虑了查准率和查全率&＃xff0c;让二者同时达到最高&＃xff0c;取一个平衡。F1分数的公式为 &＃61; 2查准率查全率 / (查准率 &＃43; 查全率)。**我们在图中看到的平衡点就是F1分数得来的结果。

▌ROC/AUC的概念

1. 灵敏度&＃xff0c;特异度&＃xff0c;真正率&＃xff0c;假正率 在正式介绍ROC/AUC之前&＃xff0c;我们还要再介绍两个指标&＃xff0c;这两个指标的选择也正是ROC和AUC可以无视样本不平衡的原因。这两个指标分别是&＃xff1a;灵敏度和&＃xff08;1-特异度&＃xff09;&＃xff0c;也叫做真正率&＃xff08;TPR&＃xff09;和假正率&＃xff08;FPR&＃xff09;。

灵敏度&＃xff08;Sensitivity&＃xff09; &＃61; TP/(TP&＃43;FN)

特异度&＃xff08;Specificity&＃xff09; &＃61; TN/(FP&＃43;TN)

其实我们可以发现灵敏度和召回率是一模一样的&＃xff0c;只是名字换了而已。

由于我们比较关心正样本&＃xff0c;所以需要查看有多少负样本被错误地预测为正样本&＃xff0c;所以使用&＃xff08;1-特异度&＃xff09;&＃xff0c;而不是特异度。

真正率&＃xff08;TPR&＃xff09; &＃61; 灵敏度 &＃61; TP/(TP&＃43;FN)

假正率&＃xff08;FPR&＃xff09; &＃61; 1- 特异度 &＃61; FP/(FP&＃43;TN)

** 下面是真正率和假正率的示意&＃xff0c;我们发现TPR和FPR分别是基于实际表现1和0出发的&＃xff0c;也就是说它们分别在实际的正样本和负样本中来观察相关概率问题。正因为如此&＃xff0c;所以无论样本是否平衡&＃xff0c;都不会被影响。还是拿之前的例子&＃xff0c;总样本中&＃xff0c;90%是正样本&＃xff0c;10%是负样本。我们知道用准确率是有水分的&＃xff0c;但是用TPR和FPR不一样。这里&＃xff0c;TPR只关注90%正样本中有多少是被真正覆盖的&＃xff0c;而与那10%毫无关系&＃xff0c;同理&＃xff0c;FPR只关注10%负样本中有多少是被错误覆盖的&＃xff0c;也与那90%毫无关系&＃xff0c;所以可以看出&＃xff1a;如果我们从实际表现的各个结果角度出发&＃xff0c;就可以避免样本不平衡的问题了&＃xff0c;这也是为什么选用TPR和FPR作为ROC/AUC的指标的原因。

或者我们也可以从另一个角度考虑&＃xff1a;条件概率。我们假设X为预测值&＃xff0c;Y为真实值。那么就可以将这些指标按条件概率表示&＃xff1a;

精准率 &＃61; P&＃xff08;Y&＃61;1 | X&＃61;1&＃xff09;

召回率 &＃61; 灵敏度 &＃61; P&＃xff08;X&＃61;1 | Y&＃61;1&＃xff09;

特异度 &＃61; P&＃xff08;X&＃61;0 | Y&＃61;0&＃xff09;

从上面三个公式看到&＃xff1a;如果我们先以实际结果为条件&＃xff08;召回率&＃xff0c;特异度&＃xff09;&＃xff0c;那么就只需考虑一种样本&＃xff0c;而先以预测值为条件&＃xff08;精准率&＃xff09;&＃xff0c;那么我们需要同时考虑正样本和负样本。所以先以实际结果为条件的指标都不受样本不平衡的影响&＃xff0c;相反以预测结果为条件的就会受到影响。

1. ROC&＃xff08;接受者操作特征曲线&＃xff09;

ROC&＃xff08;Receiver Operating Characteristic&＃xff09;曲线&＃xff0c;又称接受者操作特征曲线。该曲线最早应用于雷达信号检测领域&＃xff0c;用于区分信号与噪声。后来人们将其用于评价模型的预测能力&＃xff0c;ROC曲线是基于混淆矩阵得出的。

ROC曲线中的主要两个指标就是真正率和假正率&＃xff0c;上面也解释了这么选择的好处所在。其中横坐标为假正率&＃xff08;FPR&＃xff09;&＃xff0c;纵坐标为真正率&＃xff08;TPR&＃xff09;&＃xff0c;下面就是一个标准的ROC曲线图。

ROC曲线的阈值问题 与前面的P-R曲线类似&＃xff0c;ROC曲线也是通过遍历所有阈值来绘制整条曲线的。如果我们不断的遍历所有阈值&＃xff0c;预测的正样本和负样本是在不断变化的&＃xff0c;相应的在ROC曲线图中也会沿着曲线滑动。 

如何判断ROC曲线的好坏&＃xff1f;

改变阈值只是不断地改变预测的正负样本数&＃xff0c;即TPR和FPR&＃xff0c;但是曲线本身是不会变的。那么如何判断一个模型的ROC曲线是好的呢&＃xff1f;这个还是要回归到我们的目的&＃xff1a;FPR表示模型虚报的响应程度&＃xff0c;而TPR表示模型预测响应的覆盖程度。我们所希望的当然是&＃xff1a;虚报的越少越好&＃xff0c;覆盖的越多越好。所以总结一下就是TPR越高&＃xff0c;同时FPR越低&＃xff08;即ROC曲线越陡&＃xff09;&＃xff0c;那么模型的性能就越好。参考如下动态图进行理解。

  ROC曲线无视样本不平衡

前面已经对ROC曲线为什么可以无视样本不平衡做了解释&＃xff0c;下面我们用动态图的形式再次展示一下它是如何工作的。我们发现&＃xff1a;无论红蓝色样本比例如何改变&＃xff0c;ROC曲线都没有影响。

1. AUC&＃xff08;曲线下的面积&＃xff09;

为了计算 ROC 曲线上的点&＃xff0c;我们可以使用不同的分类阈值多次评估逻辑回归模型&＃xff0c;但这样做效率非常低。幸运的是&＃xff0c;有一种基于排序的高效算法可以为我们提供此类信息&＃xff0c;这种算法称为曲线下面积&＃xff08;Area Under Curve&＃xff09;。

比较有意思的是&＃xff0c;如果我们连接对角线&＃xff0c;它的面积正好是0.5。对角线的实际含义是&＃xff1a;随机判断响应与不响应&＃xff0c;正负样本覆盖率应该都是50%&＃xff0c;表示随机效果。ROC曲线越陡越好&＃xff0c;所以理想值就是1&＃xff0c;一个正方形&＃xff0c;而最差的随机判断都有0.5&＃xff0c;所以一般AUC的值是介于0.5到1之间的。

AUC的一般判断标准

0.5 - 0.7&＃xff1a;效果较低&＃xff0c;但用于预测股票已经很不错了

0.7 - 0.85&＃xff1a;效果一般

0.85 - 0.95&＃xff1a;效果很好

0.95 - 1&＃xff1a;效果非常好&＃xff0c;但一般不太可能

AUC的物理意义

曲线下面积对所有可能的分类阈值的效果进行综合衡量。曲线下面积的一种解读方式是看作模型将某个随机正类别样本排列在某个随机负类别样本之上的概率。以下面的样本为例&＃xff0c;逻辑回归预测从左到右以升序排列&＃xff1a;  ▌ROC/AUC的Python实现

Python中我们可以调用sklearn机器学习库的metrics进行ROC和AUC的实现&＃xff0c;简单的代码实现部分如下&＃xff1a;

from sklearn import metricsfrom sklearn.metrics import auc 
import numpy as np
y &＃61; np.array([1, 1, 2, 2]) 
scores &＃61; np.array([0.1, 0.4, 0.35, 0.8]) 
fpr, tpr, thresholds &＃61; metrics.roc\_curve(y, scores, pos\_label&＃61;2)
metrics.auc(fpr, tpr)

0.75

以上就是所有关于ROC和AUC的讲解和实现&＃xff0c;auc面积是0.75。如今的我再去面试&＃xff0c;最希望面试官问我这个问题了&＃xff0c;希望看过的朋友也可以彻底理解和记住ROC/AUC&＃xff0c;以及各种指标率的概念。