度量学习DML之Contrastive Loss及其变种_程大海的博客-CSDN博客

度量学习DML之Triplet Loss_程大海的博客-CSDN博客

度量学习DML之Lifted Structure Loss_程大海的博客-CSDN博客

度量学习DML之Circle Loss_程大海的博客-CSDN博客

度量学习DML之Cross-Batch Memory_程大海的博客-CSDN博客

度量学习DML之MoCO_程大海的博客-CSDN博客

数据增强之SpecAugment_程大海的博客-CSDN博客

数据增强之MixUp_程大海的博客-CSDN博客

度量学习的目标&＃xff1a;

1. 相似的或者属于同一类的样本提取到的embedding向量之间具有更高的相似度&＃xff0c;或者具有更小的空间距离
2. 对于out-of samples的样本&＃xff0c;也就是未见过的样本&＃xff0c;希望也能提取到有效的embedding&＃xff0c;也就是模型的泛化能力更好

Cross-Batch Memory&＃xff08;无痛涨点&＃xff09;

        论文&＃xff1a;《Cross-Batch Memory for Embedding Learning》

        参考&＃xff1a;跨越时空的难样本挖掘 - 知乎

        通过前面分析的几种pair-based的损失函数可能看到&＃xff0c;基于pair的损失函数通常在mini-batch中挖掘具有高价值的样本来进行模型训练&＃xff0c;这样一来&＃xff0c;在训练时使用的batch size越大&＃xff0c;得到的模型的性能就越好&＃xff0c;这在上述的一些论文中大部分作者都会提及到。但是&＃xff0c;现实情况是&＃xff0c;受限于计算资源、显卡显存、显卡数量等的限制&＃xff0c;绝大部分用户在实际使用过程中根本无法达到有些论文SOTA结果使用的batch size&＃xff0c;作者也通过实验验证了batch size对模型性能的影响&＃xff1a;

         Cross-Batch Memory的作者带来了一个优雅的解决方案。通过论文的题目可以看到&＃xff0c;这是一个跨batch的方法。在我们的一般认知中&＃xff0c;神经网络在训练过程中&＃xff0c;不同迭代轮数得到的模型是完全不同的&＃xff0c;他们之间基本上无法进行直接比较。比如对于同一张人脸图像&＃xff0c;使用epoch&＃61;100和epoch&＃61;101分别提取两个embedding&＃xff0c;然后比较他们之间的相似性&＃xff0c;结果必然是非常不相似。但是本文作者在实验中发现了一个有意思的现象&＃xff0c;就是随着网络模型训练的逐渐稳定&＃xff0c;对于同一个样本在不同迭代之间得到的feature差异是趋于稳定的&＃xff0c;作者给这个差异起了个名字叫漂移&＃xff08;Drift&＃xff09;&＃xff0c;通过计算同一样本在两个迭代之间的欧式距离来衡量feature在不同迭代之间的漂移&＃xff1a;

         作者实验发现&＃xff0c;当网络模型趋于稳定是&＃xff0c;即使两个迭代之间相差了1000轮&＃xff0c;对于同一样本得到的特征之间的欧氏距离相差也是非常小的。作者把特征的这种现象叫做“slow drift”&＃xff0c;“slow drift”自然而然的带来了一种启发&＃xff0c;就是当网络模型趋于稳定之后&＃xff0c;能不能使用连续的多个batch的输出结果组成的embedding集合&＃xff0c;在这个集合之上进行难样本挖掘来训练网络。毕竟对于一张224 * 224的三通道图像来说&＃xff0c;一个256维的embedding占用的显存是微乎其微的。通过这种巧妙的方式&＃xff0c;无痛的增大了计算Loss时的batch。

参考&＃xff1a;深度度量学习&＃xff0d;论文简评 - 知乎

参考&＃xff1a;深度度量学习中的损失函数 - 知乎

参考&＃xff1a;https://github.com/KevinMusgrave/pytorch-metric-learning

参考&＃xff1a;PyTorch Metric Learning