谷歌大脑新优化器VeLO火了！让AI自己调整超参数，自适应不同任务，83个任务训练加速比经典Adam更快！...

点击下方卡片&＃xff0c;关注“CVer”公众号

AI/CV重磅干货&＃xff0c;第一时间送达

点击进入—> CV 微信技术交流群

萧箫 发自 凹非寺
转载自&＃xff1a;量子位&＃xff08;QbitAI&＃xff09;

还在苦恼怎么给优化器调整更好的参数吗&＃xff1f;

现在&＃xff0c;谷歌大脑搞出了一个新的优化器VeLO&＃xff0c;无需手动调整任何超参数&＃xff0c;直接用就完事了。

与其他人工设计的如Adam、AdaGrad等算法不同&＃xff0c;VeLO完全基于AI构造&＃xff0c;能够很好地适应各种不同的任务。

当然&＃xff0c;效果也更好。论文作者之一Lucas Beyer将VeLO与其他“重度”调参的优化器进行了对比&＃xff0c;性能不相上下&＃xff1a;

有网友看到了一丝优化器进步的曙光&＃xff1a;

在Adam之后出现了不少优化器&＃xff0c;却都表现得非常失败。这个优化器或许确实能表现更好。

所以&＃xff0c;这个基于AI的优化器是如何打造的&＃xff1f;

VeLO究竟是怎么打造的&＃xff1f;

在训练神经网络的过程中&＃xff0c;优化器&＃xff08;optimizer&＃xff09;是必不可少的一部分。

△神经网络训练过程&＃xff0c;图源Thomas Wolf

但AI模型应用都这么广泛了&＃xff0c;训练AI模型用的优化器却仍然是人工设计的&＃xff0c;听起来多少有点不合理。

于是谷歌大脑的研究人员灵机一动&＃xff1a;为何不用AI来做一个优化器呢&＃xff1f;

设计上&＃xff0c;优化器的原理基于元学习的思路&＃xff0c;即从相关任务上学习经验&＃xff0c;来帮助学习目标任务。

相比迁移学习&＃xff0c;元学习更强调获取元知识&＃xff0c;它是一类任务上的通用知识&＃xff0c;可以被泛化到更多任务上去。

基于这一思想&＃xff0c;VeLO也会吸收梯度并自动输出参数更新&＃xff0c;无需任何超参数调优&＃xff0c;并自适应需要优化的各种任务。

架构上&＃xff0c;AI优化器整体由LSTM&＃xff08;长短期记忆网络&＃xff09;和超网络MLP&＃xff08;多层感知机&＃xff09;构成。

其中每个LSTM负责设置多个MLP的参数&＃xff0c;各个LSTM之间则通过全局上下文信息进行相互协作。

训练上&＃xff0c;AI优化器采用元训练的方式&＃xff0c;以参数值和梯度作为输入&＃xff0c;输出需要更新的参数。

经过4000个TPU月&＃xff08;一块TPU运行4000个月的计算量&＃xff09;的训练&＃xff0c;集各种优化任务之所长后&＃xff0c;VeLO终于横空出世。

比人工调参优化器效果更好

结果表明&＃xff0c;VeLO在83个任务上的加速效果超过了一系列当前已有的优化器。

其中y轴是相比Adam加速的倍率&＃xff0c;x轴是任务的比例。

结果显示&＃xff0c;VeLO不仅比无需调整超参数的优化器效果更好&＃xff0c;甚至比仔细调整过超参数的一些优化器效果还好&＃xff1a;

与“经典老大哥”Adam相比&＃xff0c;VeLO在所有任务上训练加速都更快&＃xff0c;其中50%以上的任务比调整学习率的Adam快4倍以上&＃xff0c;14%以上的任务中&＃xff0c;VeLO学习率甚至快上16倍。

而在6类学习任务&＃xff08;数据集&＃43;对应模型&＃xff09;的优化效果上&＃xff0c;VeLO在其中5类任务上表现效果都与Adam相当甚至更好&＃xff1a;

值得一提的是&＃xff0c;这次VeLO也被部署在JAX中&＃xff0c;看来谷歌是真的很大力推广这个新框架了。

巴特&＃xff0c;也有网友认为耗费4000个TPU月来训练VeLO&＃xff0c;计算量成本过大&＃xff1a;

虽然这个进展很重要&＃xff0c;但它甚至都快赶上GPT-3的训练量了。

目前VeLO已经开源&＃xff0c;感兴趣的小伙伴们可以去试试这个新的AI优化器。

One More Thing

前段时间&＃xff0c;一位哈佛博士生提了个有意思的想法&＃xff0c;得到不少人赞同&＃xff1a;

更多论文的作者们也应该像演职员表一样&＃xff0c;公开自己在论文中的工作内容。

Kareem Carr是生物统计学领域的博士生&＃xff0c;作者贡献在生物论文中比较常见&＃xff0c;不过之前在AI论文中见得不多。

现在&＃xff0c;这篇谷歌大脑论文的作者们也这样做了&＃xff0c;谁写的论文、谁搭建的框架一目了然&＃xff1a;

不知道以后会不会成为机器学习圈的新风气&＃xff08;手动狗头&＃xff09;。

GitHub地址&＃xff1a;
https://github.com/google/learned_optimization/tree/main/learned_optimization/research/general_lopt

论文地址&＃xff1a;
https://arxiv.org/abs/2211.09760

参考链接&＃xff1a;
[1]https://twitter.com/jmes_harrison/status/1593422054971174912
[2]https://medium.com/huggingface/from-zero-to-research-an-introduction-to-meta-learning-8e16e677f78a#afeb
[3]https://mp.weixin.qq.com/s/QLzdW6CMkcXWQbGjtOBNwg

点击进入—> CV 微信技术交流群

CVPR/ECCV 2022论文和代码下载

后台回复&＃xff1a;CVPR2022&＃xff0c;即可下载CVPR 2022论文和代码开源的论文合集

后台回复&＃xff1a;ECCV2022&＃xff0c;即可下载CVPR 2022论文和代码开源的论文合集

后台回复&＃xff1a;Transformer综述&＃xff0c;即可下载最新的3篇Transformer综述PDF

目标检测和Transformer交流群成立
扫描下方二维码&＃xff0c;或者添加微信&＃xff1a;CVer222&＃xff0c;即可添加CVer小助手微信&＃xff0c;便可申请加入CVer-目标检测或者Transformer 微信交流群。另外其他垂直方向已涵盖&＃xff1a;目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注&＃xff1a;研究方向&＃43;地点&＃43;学校/公司&＃43;昵称&＃xff08;如目标检测或者Transformer&＃43;上海&＃43;上交&＃43;卡卡&＃xff09;&＃xff0c;根据格式备注&＃xff0c;可更快被通过且邀请进群▲扫码或加微信号: CVer222&＃xff0c;进交流群
CVer学术交流群&＃xff08;知识星球&＃xff09;来了&＃xff01;想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料&＃xff0c;欢迎扫描下方二维码&＃xff0c;加入CVer学术交流群&＃xff0c;已汇集数千人&＃xff01;▲扫码进群
▲点击上方卡片&＃xff0c;关注CVer公众号

整理不易&＃xff0c;请点赞和在看