smoothl1函数_PyTorch中的损失函数L1Loss/L2Loss/SmoothL1Loss

L1Loss

也就是L1 Loss了&＃xff0c;它有几个别称&＃xff1a;L1 范数损失

最小绝对值偏差(LAD)

最小绝对值误差(LAE)

最常看到的MAE也是指L1 Loss损失函数。 它是把目标值

与模型输出(估计值)

做绝对值得到的误差。

什么时候使用&＃xff1f;回归任务

简单的模型

由于神经网络通常是解决复杂问题&＃xff0c;所以很少使用。

L2Loss

也就是L2 Loss了&＃xff0c;它有几个别称&＃xff1a;L2 范数损失

最小均方值偏差(LSD)

最小均方值误差(LSE)

最常看到的MSE也是指L2 Loss损失函数,PyTorch中也将其命名为torch.nn.MSELoss

它是把目标值

与模型输出(估计值)

做差然后平方得到的误差

什么时候使用&＃xff1f;回归任务

数值特征不大

问题维度不高

SmoothL1Loss

简单来说就是平滑版的L1 Loss。

原理

SoothL1Loss的函数如下&＃xff1a;

仔细观察可以看到&＃xff0c;当预测值和ground truth差别较小的时候(绝对值差小于1)&＃xff0c;其实使用的是L2 Loss&＃xff1b;而当差别大的时候&＃xff0c;是L1 Loss的平移。SooothL1Loss其实是L2Loss和L1Loss的结合&＃xff0c;它同时拥有L2 Loss和L1 Loss的部分优点。

1. 当预测值和ground truth差别较小的时候(绝对值差小于1)&＃xff0c;梯度不至于太大。(损失函数相较L1 Loss比较圆滑)

2. 当差别大的时候&＃xff0c;梯度值足够小(较稳定&＃xff0c;不容易梯度爆炸)。

什么时候使用&＃xff1f;回归

当特征中有较大的数值

适合大多数问题

size_average&＃61;True or False

在pytorch中&＃xff0c;所有的损失函数都带这个参数&＃xff0c;默认设置为True。

当size_average为True的时候&＃xff0c;计算出来的结果会对mini-batch取平均。反之&＃xff0c;为False的时候&＃xff0c;那算出来的绝对值不会除以n。