【ICML2020对比学习论文解读】SimCLR:ASimpleFrameworkforContrastiveLearningofVisualRepresentations

对比学习&＃xff08;Contrastive Learning&＃xff09;

对比学习是一种自监督学习方法&＃xff0c;在无标签数据集上仍可以学习到较好的表征。

对比学习的主要思想就是相似的样本的向量距离要近&＃xff0c;不相似的要远&＃xff0c;以此获得数据的高阶信息。

自监督学习&＃xff08;Self-Supervised Learning&＃xff09;

Self-Supervised Learning&＃xff0c;又称为自监督学习&＃xff0c;我们知道一般机器学习分为有监督学习&＃xff0c;无监督学习和强化学习。 而 Self-Supervised Learning 是无监督学习里面的一种&＃xff0c;主要是希望能够学习到一种通用的特征表达用于下游任务 (Downstream Tasks)。

• Paper: A Simple Framework for Contrastive Learning of Visual Representations https://arxiv.org/pdf/2002.05709.pdf
• PPT: SimCLR: A Simple Framework for Contrastive
  Learning of Visual Representations

&＃xff08;1&＃xff09;SimCLR预训练阶段&＃xff08;类比BERT预训练阶段&＃xff09;

1. Data augmentation
2. Encoding (x~i→zi,x~j→zj\tilde x_i \rightarrow z_i, \tilde x_j \rightarrow z_jx~i​→zi​,x~j​→zj​)
3. Contrastive loss function

SimCLR用了一种叫做 NT-Xent loss (Normalized Temperature-Scaled Cross-Entropy Loss)的对比学习损失函数&＃xff0c;也就是我们一般提到的对比学习里面的InfoNCE loss

&＃xff08;2&＃xff09;对下游任务Fine-tune阶段&＃xff08;类比BERT对下游任务微调&＃xff09;

1. 输入图片$x$
2. Encoding $h\&＃61;f(x)$
3. 将表征$h$&＃xff0c;作为下游任务的输入
4. 用少量标注数据微调模型

&＃xff08;3&＃xff09;下游任务预测阶段

• 使用微调好的模型进行下游任务预测

SimCLR框架

SimCLR详细架构图

SimCLR的伪代码

计算每个Batch里面的所有Pair的损失之和取平均&＃xff1a;

常见的数据增强方法

问题1&＃xff1a;SimCLR是有两个独立的Encoder网络吗&＃xff1f;不是的&＃xff0c;共享网络层参数

显然不是&＃xff0c;SimCLR中不同view的图片用的是相同的网络 $f$&＃xff08;共享网络参数&＃xff09;&＃xff0c;而不是f1,f2f_1, f_2f1​,f2​&＃xff0c;这个在论文里也有说明。因此在预测阶段输入一张图片&＃xff0c;经过网络$f$&＃xff0c;就可以得到图片的表征。

这种共享网络参数的思想是很常见的&＃xff0c;比如BERT Mask任务的Softmax分类器&＃xff08;如下图所示&＃xff09;、Transformer的全连接层是所有位置共享的&＃xff0c;ESMM双塔结构的底层网络是共享。想想也是&＃xff0c;我们不可能给每个位置都初始化一个网络吧&＃xff0c;这代价也太大了。

问题2&＃xff1a;SimCLR预测阶段是怎么样的&＃xff1f;

我们通过对比学习&＃xff0c;巧妙地在没有任何标签的情况下训练好了 SimCLR 模型&＃xff0c;使得其Encoder的输出可以像正常有监督训练的模型一样表示图片的Representation信息。所以接下来就是利用这些 Representation的时候了&＃xff0c;也就是在下游任务上Fine-tune。一旦 SimCLR 模型在对比学习任务上得到训练&＃xff0c;它就可以用于迁移学习&＃xff0c;如 ImageNet 分类&＃xff0c;如下图19所示。此时在下游任务上 Fine-tune 模型时需要labeled data&＃xff0c;但是数据量可以很小了。

The hidden layer before the projection head is a better representation than the layer after.

$z$只是用来做contrastive learning的训练&＃xff0c;而真正当我们使用feature来做下游任务时&＃xff0c;还是选取nonlinear projection前的$h$特征。这是因为$h$的信息量是要比$z$的信息量要高的。

• &＃x1f929; 视频&＃xff1a;李沐 对比学习论文综述【论文精读】

• 对比学习&＃xff08;Contrastive Learning&＃xff09;中的损失函数
• https://keremturgutlu.github.io/self_supervised/10%20-%20simclr.html
• [论文笔记]——SimCLR(Google Brain)ICML2020
• https://ai.googleblog.com/2020/04/advancing-self-supervised-and-semi.html
• Self-Supervised Learning 超详细解读 (二)&＃xff1a;SimCLR系列&＃xff08;推荐阅读&＃xff09;

• SimCLR代码实现
• 对比学习论文综述【论文精读】