AI人工智能基础概念学习

AI人工智能基础概念学习

准确率(Accuracy) | 查准率(Precision) | 查全率(Recall)

https://www.jianshu.com/p/8b7324b0f307

2018.04.02 22:02* 字数 991 阅读 1573评论 3喜欢 1

在机器学习中&＃xff0c;对于一个模型的性能评估是必不可少的。准确率(Accuracy)、查准率(Precision)、查全率(Recall)是常见的基本指标。

为了方便说明&＃xff0c;假设有以下问题场景&＃xff1a;

一个班有50人&＃xff0c;在某场考试中有40人及格&＃xff0c;10人不及格。
现在需要根据一些特征预测出所有及格的学生。

---

某一模型执行下来&＃xff0c;给出了39人&＃xff0c;其中37人确实及格了&＃xff0c;剩下2人实际上不及格。

样本

要了解这些指标的含义&＃xff0c;首先需要了解两种样本&＃xff1a;

• 正样本&＃xff1a;即属于某一类&＃xff08;一般是所求的那一类&＃xff09;的样本。在本例中是及格的学生。
• 负样本&＃xff1a;即不属于这一类的样本。在本例中是不及格的学生。

识别结果

于是我们可以得到下面一张表&＃xff1a;

• TP&＃xff1a;被检索到正样本&＃xff0c;实际也是正样本&＃xff08;正确识别&＃xff09;
  在本例表现为&＃xff1a;预测及格&＃xff0c;实际也及格。
• FP&＃xff1a;被检索到正样本&＃xff0c;实际是负样本&＃xff08;一类错误识别&＃xff09;
  在本例表现为&＃xff1a;预测及格&＃xff0c;实际不及格。
• FN&＃xff1a;未被检索到正样本&＃xff0c;实际是正样本。&＃xff08;二类错误识别&＃xff09;
  在本例表现为&＃xff1a;预测不及格&＃xff0c;实际及格了。
• TN&＃xff1a;未被检索到正样本&＃xff0c;实际也是负样本。&＃xff08;正确识别&＃xff09;
  在本例表现为&＃xff1a;预测不及格&＃xff0c;实际也不及格。

指标计算

有了上述知识&＃xff0c;就可以计算各种指标了。

Accuracy&＃xff08;准确率&＃xff09;

分类正确的样本数 与 样本总数之比。即&＃xff1a;(TP &＃43; TN) / ( ALL ).

在本例中&＃xff0c;正确分类了45人&＃xff08;及格37 &＃43; 不及格8&＃xff09;&＃xff0c;所以 Accuracy &＃61; 45 / 50 &＃61; 90%.

Precision&＃xff08;精确率、查准率&＃xff09;

被正确检索的样本数 与 被检索到样本总数之比。即&＃xff1a;TP / (TP &＃43; FP).

在本例中&＃xff0c;正确检索到了37人&＃xff0c;总共检索到39人&＃xff0c;所以 Precision &＃61; 37 / 39 &＃61; 94.9%.

Recall &＃xff08;召回率、查全率&＃xff09;

被正确检索的样本数 与 应当被检索到的样本数之比。即&＃xff1a;TP / (TP &＃43; FN).

在本例中&＃xff0c;正确检索到了37人&＃xff0c;应当检索到40人&＃xff0c;所以 Recall &＃61; 37 / 40 &＃61; 92.5%.

为什么要不同的指标

根据上边公式的不同&＃xff0c;可以借此理解不同指标的意义。

准确率是最常用的指标&＃xff0c;可以总体上衡量一个预测的性能。但是某些情况下&＃xff0c;我们也许会更偏向于其他两种情况。

「宁愿漏掉&＃xff0c;不可错杀」

在识别垃圾邮件的场景中可能偏向这一种思路&＃xff0c;因为我们不希望很多的正常邮件被误杀&＃xff0c;这样会造成严重的困扰。
因此&＃xff0c;Precision 将是一个被侧重关心的指标。

「宁愿错杀&＃xff0c;不可漏掉」

在金融风控领域大多偏向这种思路&＃xff0c;我们希望系统能够筛选出所有有风险的行为或用户&＃xff0c;然后交给人工鉴别&＃xff0c;漏掉一个可能造成灾难性后果。
因此&＃xff0c;Recall 将是一个被侧重关心的指标。

综合评价 (F-Score)

更多时候&＃xff0c;我们希望能够同时参考 Precision 与 Recall&＃xff0c;但又不是像 Accuracy 那样只是泛泛地计算准确率&＃xff0c;此时便引入一个新指标 F-Score&＃xff0c;用来综合考虑 Precision 与 Recall.

其中 β 用于调整权重&＃xff0c;当 β&＃61;1 时两者权重相同&＃xff0c;简称为 F1-Score.
若认为 Precision 更重要&＃xff0c;则减小 β&＃xff0c;若认为 Recall 更重要&＃xff0c;则增大 β.