20亿参数+30亿张图像，刷新ImageNet最高分！谷歌大脑华人研究员领衔发布最强Transformer...

来源&＃xff1a;新智元本文约1300字&＃xff0c;建议阅读5分钟 视觉Transformer进阶。


近日&＃xff0c;谷歌大脑团队公布了Vision Transformer&＃xff08;ViT&＃xff09;进阶版ViT-G/14&＃xff0c;参数高达20亿的CV模型&＃xff0c;经过30亿张图片的训练&＃xff0c;刷新了ImageNet上最高准确率记录——90.45%&＃xff0c;此前的ViT取得的最高准确率记录是 88.36%&＃xff0c;不仅如此&＃xff0c;ViT-G/14还超过之前谷歌提出的Meta Pseduo Labels模型。

Vision Transformer模型的缩放规律

在多项基准测试中&＃xff0c;ImageNet, ImageNet-v2和VTAB-1k&＃xff0c;ViT-G/14的表现都刷新了记录。

例如&＃xff0c;在几张照片的识别挑战中&＃xff0c;准确率提高了五个百分点以上。研究人员随后训练了多个更微型的模型版本&＃xff0c;以寻找架构的缩放规律&＃xff08;scaling law&＃xff09;&＃xff0c;结果观察到性能遵循幂律函数&＃xff08;power-law function&＃xff09;&＃xff0c;类似于用于NLP的Transformer模型。

2017年由谷歌首次引入的 Transformer 架构迅速成为最受欢迎的NLP深度学习模型设计&＃xff0c;其中 OpenAI的GPT-3是最著名的。OpenAI 去年发布的一项研究描述了这些模型的缩放规则&＃xff08;Scaling rules&＃xff09;。

OpenAI 通过训练几个不同规模的可比模型&＃xff0c;改变训练数据的数量和处理能力&＃xff0c;开发了一个用于评估模型准确性的幂律函数。此外&＃xff0c;OpenAI 发现更大的模型不仅性能更好&＃xff0c;而且计算效率也更高。

与 NLP 模型不同&＃xff0c;大多数SOTA的 CV 深度学习模型&＃xff0c;采用的是卷积神经网络架构(CNN)。2012年&＃xff0c; 一个CNN模型赢得了ImageNet竞赛&＃xff0c;CNN因此声名鹊起。

随着Transformer最近在 NLP 领域的成功&＃xff0c;研究人员已经开始关注它在视觉问题上的表现; 例如&＃xff0c;OpenAI 已经构建了一个基于 GPT-3的图像生成系统。

谷歌在这个领域一直非常活跃&＃xff0c;在2020年年底使用他们专有的 JFT-300M 数据集训练了一个600m 参数的 ViT 模型。

△ 去年10月&＃xff0c;谷歌大脑团队发布了Vision Transformer&＃xff08;ViT&＃xff09;

而新的ViT-G/14模型使用 JFT-3B 预先训练&＃xff0c;JFT-3B是升级版数据集&＃xff0c;包含大约30亿张图片。

研究团队改进了 ViT 架构&＃xff0c;增加了内存使用&＃xff0c;使模型能够适应单个 TPUv3核心。研究人员在预先训练的模型上使用少量和微调的迁移学习来评估 ViT-G/14和其他较小模型的性能。这些发现被用来创建缩放规则&＃xff0c;类似于 NLP 规则:

根据幂律函数&＃xff0c;缩放更多的计算、模型和数据可以提高准确性&＃xff1b;

在较小的模型中&＃xff0c;准确性可能是一个障碍&＃xff1b;

大型数据集有助于大型模型。

目前&＃xff0c;ViT-G/14得分在 ImageNet 排行榜上排名第一。下面的八个得分最高的模型同样是由谷歌的研究人员创建的&＃xff0c;而第十个模型来自Facebook。

作者团队

本次论文团队成员是此前发布ViT模型的4名成员&＃xff0c;其中&＃xff0c;第一作者是Xiaohua Zhai (翟晓华)。

https://sites.google.com/site/xzhai89/home

翟晓华目前是谷歌大脑研究员。研究领域为深度学习和计算机视觉。兴趣范围包括表征学习、迁移学习、自监督学习、生成模型、跨模态感知。

根据他的个人网站提供的信息&＃xff0c;2009年&＃xff0c;翟晓华本科毕业于南京大学&＃xff0c;2014年取得北京大学计算机科学博士学位。

另外&＃xff0c;论文作者Alexander Kolesnikov&＃xff0c;同为谷歌大脑研究员&＃xff0c;研究领域包括人工智能、机器学习、深度学习和计算机视觉。

毕业于奥地利Institute of Science and Technology Austria (IST Austria)&＃xff0c;博士论文为Weakly-Supervised Segmentation and Unsupervised Modeling of Natural Images&＃xff08;自然图像的弱监督分割和无监督建模&＃xff09;。

另一名作者Neil Houlsby&＃xff08;下图&＃xff09;&＃xff0c;研究领域为机器学习、人工智能、计算机视觉和自然语言处理。

第四名作者Lucas Beyer&＃xff0c;是一名自学成才的黑客、研究科学家&＃xff0c;致力于帮助机器人了解世界、帮助人类了解深度学习&＃xff08;本作者暂未找到图片&＃xff09;。

参考资料&＃xff1a;

https://arxiv.org/pdf/2106.04560.pdf

https://www.marktechpost.com/2021/06/28/google-trains-an-ai-vision-model-with-two-billion-parameter/

编辑&＃xff1a;文婧