迁移学习resnet_Hinton组力作：ImageNet无监督学习最佳性能一次提7%,媲美监督学习...

机器之心报道

机器之心编辑部

如今&＃xff0c;在 ImageNet 上的图像识别准确率的性能提升每次通常只有零点几个百分点&＃xff0c;而来自图灵奖获得者 Geoffrey Hinton 等谷歌研究者的最新研究一次就把无监督学习的指标提升了 7-10%&＃xff0c;甚至可以媲美有监督学习的效果。

如今&＃xff0c;在 ImageNet 上的图像识别准确率的性能提升每次通常只有零点几个百分点&＃xff0c;而来自图灵奖获得者 Geoffrey Hinton 等谷歌研究者的最新研究一次就把无监督学习的指标提升了 7-10%&＃xff0c;甚至可以媲美有监督学习的效果。

细心的同学可能会注意到&＃xff0c;许久不在社交网络上出现的深度学习先驱 Geoffrey Hinton 最近突然有了新动向。他领导的研究小组推出的 SimCLR 无监督方法瞬间吸引了人们的广泛关注&＃xff1a;

SimCLR 是一种简单而清晰的方法&＃xff0c;无需类标签即可让 AI 学会视觉表示&＃xff0c;而且可以达到有监督学习的准确度。论文作者表示&＃xff0c;经过 ImageNet 上 1% 图片标签的微调&＃xff0c;SimCLR 即可达到 85.8&＃xff05;的 Top-5 精度——在只用 AlexNet 1% 的标签的情况下性能超越后者。

论文链接&＃xff1a;https://arxiv.org/pdf/2002.05709.pdf

在这一工作中&＃xff0c;研究者们构建了一种用于视觉表示的对比学习简单框架 SimCLR&＃xff0c;它不仅优于此前的所有工作&＃xff0c;也优于最新的对比自监督学习算法&＃xff0c;而且结构更加简单&＃xff1a;既不需要专门的架构&＃xff0c;也不需要特殊的存储库。

图 1. SimCLR 与此前各类自监督方法在 ImageNet 上的 Top-1 准确率对比(以 ImageNet 进行预训练)&＃xff0c;以及 ResNet-50 的有监督学习效果(灰色×)。

在这篇论文中&＃xff0c;研究者发现&＃xff1a;

1. 多个数据增强方法组合对于对比预测任务产生有效表示非常重要。此外&＃xff0c;与有监督学习相比&＃xff0c;数据增强对于无监督学习更加有用&＃xff1b;
2. 在表示和对比损失之间引入一个可学习的非线性变换可以大幅提高模型学到的表示的质量&＃xff1b;
3. 与监督学习相比&＃xff0c;对比学习得益于更大的批量和更多的训练步骤。

基于这些发现&＃xff0c;他们在 ImageNet ILSVRC-2012 数据集上实现了一种新的半监督、自监督学习 SOTA 方法——SimCLR。在线性评估方面&＃xff0c;SimCLR 实现了 76.5% 的 top-1 准确率&＃xff0c;比之前的 SOTA 提升了 7%。在仅使用 1% 的 ImageNet 标签进行微调时&＃xff0c;SimCLR 实现了 85.8% 的 top-5 准确率&＃xff0c;比之前的 SOTA 方法提升了 10%。在 12 个其他自然图像分类数据集上进行微调时&＃xff0c;SimCLR 在 10 个数据集上表现出了与强监督学习基线相当或更好的性能。

无监督学习的快速发展让科学家们看到了新的希望&＃xff0c;DeepMind 科学家 Oriol Vinyals 表示&＃xff1a;感谢对比损失函数&＃xff0c;无监督学习正在逼近监督学习&＃xff01;

简化方法&＃xff0c;但效果更好

受到最近对比学习算法(contrastive learning algorithm)的启发&＃xff0c;SimCLR 通过隐空间中的对比损失来最大化同一数据示例的不同增强视图之间的一致性&＃xff0c;从而学习表示形式。具体说来&＃xff0c;这一框架包含四个主要部分&＃xff1a;

• 随机数据增强模块&＃xff0c;可随机转换任何给定的数据示例&＃xff0c;从而产生同一示例的两个相关视图&＃xff0c;分别表示为 x˜i 和 x˜j&＃xff0c;我们将其视为正对&＃xff1b;
• 一个基本的神经网络编码器 f(·)&＃xff0c;从增强数据中提取表示向量&＃xff1b;
• 一个小的神经网络投射头(projection head)g(·)&＃xff0c;将表示映射到对比损失的空间&＃xff1b;
• 为对比预测任务定义的对比损失函数。

在社交网络上&＃xff0c;该论文的作者之一&＃xff0c;谷歌资深研究科学家 Mohammad Norouzi 对这一学习算法进行了最简单化的总结&＃xff1a;

• 随机抽取一个小批量
• 给每个例子绘制两个独立的增强函数
• 使用两种增强机制&＃xff0c;为每个示例生成两个互相关联的视图
• 让相关视图互相吸引&＃xff0c;同时排斥其他示例

SimCLR 的主要学习算法如下&＃xff1a;

用更大的批大小进行训练

作者将训练批大小 N 分为 256 到 8192 不等。批大小为 8192 的情况下&＃xff0c;增强视图中每个正对(positive pair)都有 16382 个反例。当使用标准的 SGD/动量和线性学习率扩展时&＃xff0c;大批量的训练可能不稳定。为了使得训练更加稳定&＃xff0c;研究者在所有的批大小中都采用了 LARS 优化器。他们使用 Cloud TPU 来训练模型&＃xff0c;根据批大小的不同&＃xff0c;使用的核心数从 32 到 128 不等。

数据增强

虽然数据增强已经广泛应用于监督和无监督表示学习&＃xff0c;但它还没有被看做一种定义对比学习任务的系统性方法。许多现有的方法通过改变架构来定义对比预测任务。

本文的研究者证明&＃xff0c;通过对目标图像执行简单的随机裁剪(调整大小)&＃xff0c;可以避免之前的复杂操作&＃xff0c;从而创建包含上述两项任务的一系列预测任务&＃xff0c;如图 3 所示。这种简单的设计选择方便得将预测任务与其他组件(如神经网络架构)解耦。

多种数据增强操作的组合是学习良好表示的关键。图 4 显示了作者在这项工作中探讨的数据增强。

为了进一步展示颜色增强的重要性&＃xff0c;研究者调整了颜色增强的强度&＃xff0c;结果如下表 1 所示。

编码器和投射头架构

如图 7 所示&＃xff0c;增加深度和宽度都可以提升性能。监督学习也同样适用这一规律。但我们发现&＃xff0c;随着模型规模的增大&＃xff0c;监督模型和在无监督模型上训练的线性分类器之间的差距会缩小。这表明&＃xff0c;与监督模型相比&＃xff0c;无监督学习能从更大规模的模型中得到更多收益。

非线性的投射头可以改善之前的层的表示质量&＃xff0c;图 8 展示了使用三种不同投射头架构的线性评估结果。

损失函数和批大小

可调节温度的归一化交叉熵损失比其他方法更佳。研究者对比了 NT-Xent 损失和其他常用的对比损失函数&＃xff0c;比如 logistic 损失、margin 损失。表 2 展示了目标函数和损失函数输入的梯度。

对比学习(Contrastive learning)能从更大的批大小和更长时间的训练中受益更多。图 9 展示了在模型在不同 Epoch 下训练时&＃xff0c;不同批大小所产生的影响。

与当前最佳模型的对比

线性估计

表 6 显示了 SimCLR 与之前方法在线性估计方面的对比。此外&＃xff0c;上文中的表 1 展示了不同方法之间更多的数值比较。从表中可以看出&＃xff0c;用 SimCLR 方法使用 ResNet-50 (4×) 架构能够得到与监督预训练 ResNet-50 相媲美的结果。

半监督学习

下表 7 显示了 SimCLR 与之前方法在半监督学习方面的对比。从表中可以看出&＃xff0c;无论是使用 1% 还是 10% 的标签&＃xff0c;本文提出的方法都显著优于之前的 SOTA 模型。

迁移学习

研究者在 12 个自然图像数据集上评估了模型的迁移学习性能。下表 8 显示了使用 ResNet-50 的结果&＃xff0c;与监督学习模型 ResNet-50 相比&＃xff0c;SimCLR 显示了良好的迁移性能——两者成绩互有胜负。

华人一作

该论文的第一作者 Ting Chen 现就职于谷歌大脑&＃xff0c;他 2013 年本科毕业于北京邮电大学&＃xff0c;从 2013 年到 2019 年在美国东北大学和加州大学洛杉矶分校攻读计算机科学博士学位。2019 年 5 月&＃xff0c;他正式入职谷歌大脑&＃xff0c;成为研究科学家。此前他在谷歌有过两年的实习经历。

Ting Chen 的研究兴趣包括自监督表示学习&＃xff0c;用于离散结构的高效深度神经网络以及生成模型。

参考链接&＃xff1a;http://web.cs.ucla.edu/~tingchen/