夏乙 岳排槐 发自 亚龙湾
量子位 出品 | 公众号 QbitAI

索尼大法好。

索尼自己说。

刚刚&＃xff0c;索尼在arXiv上发文宣布&＃xff1a;他们用224秒在ImageNet上完成了ResNet-50训练&＃xff0c;没有明显的准确率损失。

而且训练误差曲线与参考曲线非常相似。最大的mini-batch size可以增大到119K而没有明显的准确率损失&＃xff0c;不过进一步增大到136K时准确率会降低约0.5%。

这是索尼给出的对比。

△ 在ImageNet/ResNet-50上的训练时间和top-1 1-crop验证准确率对比。

从这个表格可以看出&＃xff0c;斜刺里杀出的索尼&＃xff0c;堪称完胜。比腾讯今年6月创造的成绩还要好。比前几年的成绩&＃xff0c;更是多个数量级的进步。

关于上表中腾讯的成绩&＃xff0c;有些同学可能会有疑问&＃xff1a;不是4分钟吗&＃xff1f;

情况是这样的&＃xff0c;腾讯今年6月的“4分钟训练ImageNet”&＃xff0c;指的是AlexNet网络&＃xff1b;而上面列出的&＃xff0c;是训练ResNet-50网络需要的时间和达到的准确率。

插播一个花絮&＃xff0c;上表中腾讯公司的Xianyan Jia&＃xff0c;现在已经供职于阿里巴巴了……

当然&＃xff0c;索尼也是下了血本。为了达到这个成绩&＃xff0c;动用了更多的GPU。不过索尼自己也说&＃xff0c;他们的方法也能更有效的利用大规模GPU。

在训练速度和GPU规模效率上&＃xff0c;索尼把自己的方法与单节点&＃xff08;4个GPU&＃xff09;进行了对比。下面这个表格显示了当mini-batch size设置为32时&＃xff0c;不同GPU数量的效率。

△ 在ImageNet/ResNet-50上训练的GPU规模效率

如上表所示&＃xff0c;当索尼使用1088个GPU时&＃xff0c;规模效率超过90%。腾讯之前的工作中&＃xff0c;使用1024个Tesla P40&＃xff0c;GPU的规模效率为87.9%。

索尼表示&＃xff0c;他们的互联方案能基于更快&＃xff08;Tesla V100&＃xff09;和更多的GPU&＃xff0c;实现更高的GPU规模效率。

两件装备

更快的训练速度&＃xff0c;更高的GPU规模化效率来自两件加速装备&＃xff1a;

一是针对大批次&＃xff08;batch&＃xff09;训练不稳定问题的批次大小控制&＃xff0c;二是2D-Torus all-reduce&＃xff0c;降低了梯度同步的通信开销。

它们所解决的&＃xff0c;正是困扰大规模分布式深度学习训练的两个问题。

所谓批次大小控制&＃xff0c;是指在训练过程中逐渐提升批次的整体大小。每当训练的损失图变“平”&＃xff0c;就提大批次&＃xff0c;这样有助于避开局部最小值。

在这个224秒训练完ImageNet的方案中&＃xff0c;批次大小超过32k时&＃xff0c;索尼五人组用这种方法来防止准确率的下降。

而2D-Torus All-reduce&＃xff0c;是一种“高效的”通信拓扑结构。不像之前的Ring All-redice等算法&＃xff0c;就算有上千个GPU&＃xff0c;2D-Torus all-reduce也能完全利用它们的带宽。

2D-Torus拓扑结构如上图所示。这种结构下&＃xff0c;簇里的GPU排列在2D网格中&＃xff0c;all-reduce由3步组成&＃xff1a;1) 水平进行的reduce-scatter、2) 垂直进行的all-reduce、水平进行的all-gather。

上面提到的两件加速装备&＃xff0c;都是用索尼自家神经网络库Neural Network Libraries&＃xff08;NNL&＃xff09;实现的&＃xff0c;这个库还有个可能稍微更为人所熟知一点的名字&＃xff1a;nnabla。

在nnabla这个名字里&＃xff0c;nn代表神经网络&＃xff08;neural network&＃xff09;的缩写&＃xff0c;而nabla代表梯度的数学符号∇。

2017年6月&＃xff0c;索尼在GitHub上开源了这个库&＃xff0c;repo名叫nnabla。它在GitHub上一直在活跃更新&＃xff0c;现在有2000多星&＃xff0c;226次fork。

nnabla基本用C&＃43;&＃43;11写成&＃xff0c;让用户能直观地用少量代码定义计算图&＃xff0c;带有CUDA扩展&＃xff0c;能添加新函数&＃xff0c;支持动态计算图&＃xff0c;可以在Linux和Window上运行。

地址在这里&＃xff1a;https://github.com/sony/nnabla

最后&＃xff0c;附上这篇224秒训练ImageNet/ResNet-50&＃xff1a;

ImageNet/ResNet-50 Training in 224 Seconds
https://arxiv.org/abs/1811.05233

— 完 —

年度评选申请

加入社群

量子位AI社群开始招募啦&＃xff0c;欢迎对AI感兴趣的同学&＃xff0c;在量子位公众号&＃xff08;QbitAI&＃xff09;对话界面回复关键字“交流群”&＃xff0c;获取入群方式&＃xff1b;

此外&＃xff0c;量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募&＃xff0c;面向正在从事相关领域的工程师及研究人员。

进专业群请在量子位公众号&＃xff08;QbitAI&＃xff09;对话界面回复关键字“专业群”&＃xff0c;获取入群方式。&＃xff08;专业群审核较严&＃xff0c;敬请谅解&＃xff09;

诚挚招聘

量子位正在招募编辑/记者&＃xff0c;工作地点在北京中关村。期待有才气、有热情的同学加入我们&＃xff01;相关细节&＃xff0c;请在量子位公众号(QbitAI)对话界面&＃xff0c;回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ&＃39;ᴗ&＃39; ի 追踪AI技术和产品新动态