自定义损失函数_关于样本于损失函数的权重

机器学习损失函数的定义非常重要&＃xff0c;损失函数决定了如何从样本数据中进行学习&＃xff0c;模型的总体损失函数由对样本的损失求和而来&＃xff0c;对于特定问题&＃xff0c;有三种情况需要特别考虑样本损失的权重。

1. 类别样本不均衡
   对样本量比较少的类别&＃xff0c;加大该类样本权重&＃xff0c;使模型不至于忽略了该类别的样本特征。比如对于违约样本占比1:9比例的二分类&＃xff0c;如果不做权重调整&＃xff0c;模型将学习到绝大多数正常样本的特征而忽略了违约样本的特征&＃xff0c;此时模型准确率也能达到90%&＃xff0c;而我们更关注的是违约样本。
2. 错误分类样本权重调整
   采用AdaBoost类似的思路&＃xff0c;多个模型组成训练队伍在迭代过程中不断对误判的样本加大权重&＃xff0c;以期在后续的学习中捕获误判样本的特征&＃xff0c;提升模型准确率&＃xff0c;为避免过拟合&＃xff0c;可以采用多个不同模型进行&＃xff0c;学习中不断调整彼此其他模型误判的样本的权重。
3. Focal Loss
   Focal Loss[1]为近来提出的针对hard/easy样本进行权重调整的方法。思路是对容易区分的样本(easy)调低权重&＃xff0c;对难区分&＃xff08;hard&＃xff09;的样本调高权重。比如对于A样本预测概率为(0.9,01)&＃xff0c;说明模型对该样本很自信&＃xff0c;属于easy样本&＃xff0c;对于B样本预测概率为(0.53,0.47)&＃xff0c;说明模型对B这样类似样本的预测缺乏区分度&＃xff0c;可以适当调整该样本的权重。具体的&＃xff0c;Focal Loss的提出者提出了以下形式的损失函数&＃xff1a;

其中

为传统意义上的样本权重&＃xff0c;比如为解决样本不均衡问题&＃xff0c;而

则用于调整hard/easy样本的权重&＃xff0c;但p较高(接近1)时&＃xff0c;说明样本容易区分&＃xff0c;之类样本其权重可以相对调低&＃xff0c;当p较低时&＃xff0c;权重

会相对变大。Focal Loss的提出者实验表明

取2时效果最佳。

&＃61;0时候退化为一般的交叉熵损失函数。

对于梯度下降的学习方法&＃xff0c;需要其一阶导数。比如在xgboost上可以通过自定义损失函数实现Focal Loss&＃xff0c;因其需要Focal Loss的一阶、二阶导数&＃xff0c;用mathematica给出个符号形式&＃xff1a;

参考文献&＃xff1a;
[1]Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollár 2017 arXiv:1708.02002