【损失函数合集】ECCV2016CenterLoss

感觉一年下来了解了很多损失函数&＃xff0c;准备做一个【损失函数合集】不定期更新一些损失函数的解读&＃xff0c;相信这个系列会成为工程派非常感兴趣的一个专题&＃xff0c;毕竟这可能是工程量最小同时可能会在某个任务上取得较大提升的最简单有效的方法了。话不多说&＃xff0c;今天来介绍一下ECCV 2016的Center Loss。论文链接见附录。

我们知道在利用卷积神经网络(CNN)进行特征提取然后做分类任务的时候&＃xff0c;最常用的就是Softmax Loss了。而Softmax Loss对CNN的分类特征没有什么强约束&＃xff0c;只要最后可以把样本分开就可以了&＃xff0c;没有明确的定义某个分类特征$x$和它的类别$y$需要有什么关系&＃xff0c;也即是对$x$的约束并不强。当给CNN传入一些对抗样本的时候&＃xff0c;CNN会表现出分类困难。原因就是CNN对对抗样本提取的特征基本处于最后一层分类特征的边界上&＃xff0c;使得类别的区分度低。论文在Figure2为我们展示了Mnist数据集的特征分布图&＃xff08;这是降维可视化之后的&＃xff09;&＃xff0c;如下所示&＃xff1a;

Figure2(a)表示训练集的特征&＃xff0c;可以看到不同的类别之间的特征是有明显的间隔的&＃xff0c;所以分类器很容易区分样本的类别。而Figure2(b)表示的是测试集的特征&＃xff0c;可以看到&＃xff0c;有些测试集样本的特征位于分类的边界上&＃xff0c;这使得分类器非常难以判断这些样本的具体类别。这种现象用更专业的话来说就是分类器的特征类间相似度小&＃xff0c;而类内相似度大。这和聚类里面的思想有一点像&＃xff0c;聚类的时候需要尽可能的让同一个簇里面的相似度更大大&＃xff0c;而簇之间的相似度更小&＃xff0c;这样聚类的结果才更好。

更正式地&＃xff0c;论文指出CNN学习到的特征应当具有“类内紧凑性”和“类间可分离性”&＃xff0c;意思上面大概理解过了&＃xff0c;下面就用这两个名词来描述了。

为了对CNN学习到的特征的“类内紧凑性”进行约束&＃xff0c;Contrastive Loss和Triple Loss被提出&＃xff0c;这两个Loss这几天会接着介绍&＃xff0c;今天先介绍Center Loss&＃xff0c;不懂这两个个Loss也不太不影响理解Center Loss。简单来说&＃xff0c;Contrastive Loss的思想是最小化一对同类样本特征之间的距离&＃xff0c;最大化一对不同样本特征之间的距离。而Triplets loss则把一对变成3个。这两个Loss均要把样本进行组合来进行优化&＃xff0c;导致样本的数量急剧增加&＃xff08;O(n2)&＃xff0c;O(n3)O(n^2)&＃xff0c; O(n^3)O(n2)&＃xff0c;O(n3)&＃xff09;&＃xff0c;因此加长了训练时间并且训练难度也大大增加&＃xff0c;为了改善这一缺点Center Loss被提出。

Center Loss可以直接对样本特征之间的距离进行约束。Center Loss添加的约束是&＃xff0c;特征与相同类别的平均特征&＃xff08;有"Center"的味道了&＃xff09;的距离要足够小&＃xff0c;即要求同类特征要更加接近它们的中心点&＃xff0c;用公式来表达&＃xff1a;

LC&＃61;12∑i&＃61;1m∣∣xi−cyi∣∣22L_{C}&＃61;\frac{1}{2}\sum_{i&＃61;1}^m||x_i-c_{y_i}||_2^2LC​&＃61;21​∑i&＃61;1m​∣∣xi​−cyi​​∣∣22​

其中xix_ixi​表示第$i$个样本被CNN提取的特征&＃xff0c;cyic_{y_i}cyi​​表示第$i$类样本的平均特征&＃xff0c;$m$表示样本数。从公式可以看到如果我们要计算同一类别所有样本的特征然后求平均值的话是不太可能的&＃xff0c;因为数据量多了之后这个计算复杂度非常高。因为论文提出用mini-batch中每个类别的平均特征近似不同类别所有样本的平均特征&＃xff0c;有点类似于BN层。

关于LcL_cLc​的梯度和cyic_{y_i}cyi​​的更新公式如下&＃xff1a;

其中$\delta (x)$函数代表的是当x为真时返回$1$&＃xff0c;否则为$0$。而分母的$1$是防止min-batch中没有类别$j$的样本而导致除$0$异常。然后论文还设置了一个cjc_jcj​的更新速率$\alpha$&＃xff0c;控制cjc_jcj​的更新速度。最后训练的总损失函数为&＃xff1a;
最后&＃xff0c;Center Loss的算法表示如下&＃xff1a;

对于不同的$\lambda$&＃xff0c;网络提取的特征具有不同的区分度&＃xff0c;具体如Figure3所示&＃xff0c;可以看到随着$\lambda$的增加&＃xff0c;特征的“类内紧凑性”越高。

同时作者还研究了不同的$\lambda$和$\alpha$对人脸识别任务的影响&＃xff0c;如Figure5所示&＃xff0c;可以看出当$\lambda \&＃61;0.003$和$\alpha \&＃61;0.5$的时候对人脸识别是效果最好的。

import torch
import torch.nn as nn
from torch.autograd.function import Functionclass CenterLoss(nn.Module):def __init__(self, num_classes, feat_dim, size_average&＃61;True):super(CenterLoss, self).__init__()self.centers &＃61; nn.Parameter(torch.randn(num_classes, feat_dim))self.centerlossfunc &＃61; CenterlossFunc.applyself.feat_dim &＃61; feat_dimself.size_average &＃61; size_averagedef forward(self, label, feat):batch_size &＃61; feat.size(0)feat &＃61; feat.view(batch_size, -1)# To check the dim of centers and featuresif feat.size(1) !&＃61; self.feat_dim:raise ValueError("Center&＃39;s dim: {0} should be equal to input feature&＃39;s \dim: {1}".format(self.feat_dim,feat.size(1)))batch_size_tensor &＃61; feat.new_empty(1).fill_(batch_size if self.size_average else 1)loss &＃61; self.centerlossfunc(feat, label, self.centers, batch_size_tensor)return lossclass CenterlossFunc(Function):&＃64;staticmethoddef forward(ctx, feature, label, centers, batch_size):ctx.save_for_backward(feature, label, centers, batch_size)centers_batch &＃61; centers.index_select(0, label.long())return (feature - centers_batch).pow(2).sum() / 2.0 / batch_size&＃64;staticmethoddef backward(ctx, grad_output):feature, label, centers, batch_size &＃61; ctx.saved_tensorscenters_batch &＃61; centers.index_select(0, label.long())diff &＃61; centers_batch - feature# init every iterationcounts &＃61; centers.new_ones(centers.size(0))ones &＃61; centers.new_ones(label.size(0))grad_centers &＃61; centers.new_zeros(centers.size())counts &＃61; counts.scatter_add_(0, label.long(), ones)grad_centers.scatter_add_(0, label.unsqueeze(1).expand(feature.size()).long(), diff)grad_centers &＃61; grad_centers/counts.view(-1, 1)return - grad_output * diff / batch_size, None, grad_centers / batch_size, Nonedef main(test_cuda&＃61;False):print(&＃39;-&＃39;*80)device &＃61; torch.device("cuda" if test_cuda else "cpu")ct &＃61; CenterLoss(10,2,size_average&＃61;True).to(device)y &＃61; torch.Tensor([0,0,2,1]).to(device)feat &＃61; torch.zeros(4,2).to(device).requires_grad_()print (list(ct.parameters()))print (ct.centers.grad)out &＃61; ct(y,feat)print(out.item())out.backward()print(ct.centers.grad)print(feat.grad)if __name__ &＃61;&＃61; &＃39;__main__&＃39;:torch.manual_seed(999)main(test_cuda&＃61;False)if torch.cuda.is_available():main(test_cuda&＃61;True)

结论

这篇推文给大家介绍了Center Loss&＃xff0c;可以改善分类的时候的“类内紧凑性”小的问题&＃xff08;这同时也放大了“类间可分离性”&＃xff09;&＃xff0c;是一个值得工程尝试的损失函数。

• 论文原文&＃xff1a;http://ydwen.github.io/papers/WenECCV16.pdf
• 代码实现&＃xff1a;https://github.com/jxgu1016/MNIST_center_loss_pytorch/blob/master/CenterLoss.py

• 目标检测算法之RetinaNet&＃xff08;引入Focal Loss&＃xff09;
• 目标检测算法之AAAI2019 Oral论文GHM Loss
• 目标检测算法之CVPR2019 GIoU Loss
• 目标检测算法之AAAI 2020 DIoU Loss 已开源(YOLOV3涨近3个点)

欢迎关注GiantPandaCV, 在这里你将看到独家的深度学习分享&＃xff0c;坚持原创&＃xff0c;每天分享我们学习到的新鲜知识。( • ̀ω•́ )✧

有对文章相关的问题&＃xff0c;或者想要加入交流群&＃xff0c;欢迎添加BBuf微信&＃xff1a;