【机器学习】机器学习算法的常用评价指标

目录

• 一、问题要求
• 二、概念
• 三、解决问题
• 四、参考

假如准备招标采购一套宿舍行人目标图像识别系统，选择2家公司的产品来测试。测试手段是：从学生宿舍区一段监控视频中识别男生的人数。
实验结果如下：

• 算法1（产品1）的检测结果：检测出“男生”人数82人，其中78人为男生，4人其实是女生；
• 算法2（产品2）的检测结果：检测出“男生”人数88人，其中80人为男生，8人其实是女生；
• 经过人工检测，视频中实际准确的总人数为100人，其中男生80人，女生20人。

请问算法1和算法2的“查准率”“查全率”“F1-score”等分别是多少？你认为哪个更优秀？

分类结果混淆矩阵:

• 样本总数：TP+FN+FP+TN
• 查全率：真实正例被预测为正例的比例
  
  
  
  
  
  R
  
  
  =
  
  
  
  
  T
  
  
  P
  
  
  
  
  T
  
  
  P
  
  
  +
  
  
  F
  
  
  N
  
  
  
  
  
  R={TP\over{TP+FN}}
  
  
  R=TP+FNTP​
• 真正例率: 真实正例被预测为正例的比例
  
  
  
  
  
  R
  
  
  =
  
  
  
  
  T
  
  
  P
  
  
  
  
  T
  
  
  P
  
  
  +
  
  
  F
  
  
  P
  
  
  
  
  
  R={TP\over{TP+FP}}
  
  
  R=TP+FPTP​
• F1-score：综合考虑查准率和查全率，用来度量一个模型的好坏。
  
  
  
  
  
  F
  
  
  1
  
  
  =
  
  
  
  
  2
  
  
  R
  
  
  P
  
  
  
  
  R
  
  
  +
  
  
  P
  
  
  
  
  =
  
  
  
  
  2
  
  
  T
  
  
  P
  
  
  
  
  样
  
  
  本
  
  
  总
  
  
  数
  
  
  +
  
  
  T
  
  
  P
  
  
  −
  
  
  T
  
  
  N
  
  
  
  
  
  F1= {2RP \over R+P}={2TP \over 样本总数+TP-TN}
  
  
  F1=R+P2RP​=样本总数+TP−TN2TP​

一般情况下，若查准率高，差全率就会偏低；查准率低，查全率就会偏高

算法一：

• 查准率：P=0.975
• 查全率：R=0.9512
• F1-score：F1=0.963

算法二：

• 查准率：P=1
• 查全率：R=0.91
• F1-score：F1=0.952

对比：

• 1.从查准率来看，算法2优于算法1
• 2.从查全率来看，算法1优于算法2
• 3.从F1来看，算法1优于算法2

总的来说，算法1更好

【机器学习】(周志华–西瓜书) 真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）