点击上方&＃xff0c;选择星标或置顶&＃xff0c;每天给你送干货
&＃xff01;
阅读大概需要11分钟
跟随小博主&＃xff0c;每天进步一丢丢
新智元报道
来源&＃xff1a;zdnet等
编辑&＃xff1a;张佳、程旸、鹏飞
【新智元导读】日前&＃xff0c;图灵奖获得者、深度学习三巨头Geoffrey Hinton、Yann LeCun、Yoshua Bengio在AAAI聚首&＃xff0c;分享各自最新研究成果。三位一致表示深度学习可以克服诸如对抗性示例之类的障碍&＃xff0c;甚至可能获得常识。戳右边链接上 了解更多&＃xff01;
作为2020年人工智能学界的第一个顶会&＃xff0c;AAAI 2020正在美国纽约举行&＃xff0c;最佳论文等各大奖项已经揭晓&＃xff0c;详见&＃xff1a;AAAI 2020最佳论文公布&＃xff0c;800人缺席&＃xff01;Bengio支持的远程参会请愿书火了。
AAAI 2020的一大亮点是主办方特邀图灵奖获得者、深度学习三巨头Geoffrey Hinton、Yann LeCun、Yoshua Bengio同台&＃xff0c;分享各自最新研究成果。三位一致表示深度学习可以克服诸如对抗性示例之类的障碍&＃xff0c;甚至可能获得常识。
新智元整理了“三巨头”的演讲和讨论&＃xff0c;下面和大家分享。
Geoffrey Hinton&＃xff1a;堆栈式胶囊自编码器
首先&＃xff0c;Geoffrey Hinton登台&＃xff0c;做了题为“Stacked Capsule Autoencoders”的演讲&＃xff0c;这也是他去年一篇论文的题目。
论文地址&＃xff1a;https://arxiv.org/abs/1906.06818
Hinton首先介绍了识别物体的两种方法的优劣势&＃xff1a;
用Hinton的话讲&＃xff0c;CNN就是"rubbish"&＃xff0c;问题很多&＃xff0c;比如处理视角的变化、解析图像、对抗性例子等等。
吐槽完CNN&＃xff0c;Hinton开始介绍重头戏&＃xff1a;Capsules 2019: Stacked Capsule Auto-Encoders。
在这项研究中&＃xff0c;Hinton等人提出一个无监督版本的胶囊网络&＃xff0c;通过可查看所有部件的神经编码器&＃xff0c;进而推断物体胶囊的位置与姿势。
该编码器通过解码器进行反向传播训练&＃xff0c;通过混合式姿势预测方案来预测已发现部件的姿势。同样是使用神经编码器&＃xff0c;通过推断部件及其仿射变换&＃xff0c;可以直接从图像中发现具体的部件。
换句话说&＃xff0c;每个相应的解码器图像像素建模&＃xff0c;都是仿射变换部分做出的混合预测结果。他们通过未标记的数据习得物体及其部分胶囊&＃xff0c;然后再对物体胶囊的存在向量进行聚类。
最后&＃xff0c;该成果在 SVHN 上获得了最先进的无监督分类结果 (55%)&＃xff0c;同时在 MNIST 上获得了接近最先进的分类结果。
Yann LeCun&＃xff1a;自监督学习赋予机器 “常识” &＃xff0c;实现“真正的”人工智能
接着&＃xff0c;Facebook人工智能总监、图灵奖得主Yann LeCun上台&＃xff0c;继续推广他的自监督学习概念。
这位被誉为卷积神经之父的图灵奖得主&＃xff0c;对自监督学习给予了深厚的希望以及非常坚实的肯定。
他认为自监督学习因为更接近人类的学习程序&＃xff0c;能够突破现有深度学习的局限。
目前被广泛使用的监督学习&＃xff0c;对人工标记的依赖性交大&＃xff0c;不仅耗时耗力&＃xff0c;且无法完全保证人工标记过程中准确性的问题。另外&＃xff0c;机器只能根据已标记的特征学习。
强化学习是透过奖罚机制&＃xff0c;让机器在虚拟情境中不断试错&＃xff08;trial and error&＃xff09;&＃xff0c;累积经验来学习。强化学习已经被证明在竞技游戏中体现出强大的能力&＃xff0c;甚至远超人类&＃xff0c;但性价比太低。
Yann LeCun认为自监督学习是克服上述问题的有效解决方案。自监督学习通过构建一个庞大的神经网络&＃xff0c;透过预测来认识世界。这一点就非常类似于我们人类的学习过程&＃xff0c;不断透过已知部分预测未知。
预测是自监督学习的强力武器&＃xff0c;例如预测到车子可能会撞到前方路障&＃xff0c;就提前进行规避动作&＃xff0c;而不需要人工标注这是路障需要避开&＃xff0c;更不需要试错去积累经验。
Yann LeCun认为现今的深度学习方法&＃xff0c;虽然在自动驾驶、语言翻译、聊天机器人等方面取得进展&＃xff0c;却无法创造出“真正的”人工智能。
他所谓的“真正的”人工智能&＃xff0c;是具备常识、聪明、敏捷且灵活的机器人。他认为更接近人类学习行为的自监督学习方法&＃xff0c;将会是实现这个宏远的第一步。
Yoshua Bengio&＃xff1a;从“系统1”向“系统2”进发
最后&＃xff0c;深度学习三巨头之一、图灵奖得主Yoshua Bengio在会上做了题为“深度学习在系统2处理中的应用”&＃xff08;Deep Mind in System 2 Processing&＃xff09;的演讲。Bengio认为&＃xff0c;深度学习的瓶颈已经出现&＃xff0c;并指明了突破方向。
Bengio首先介绍了深度学习的发展困境。他引用了Daniel Kahneman的认知系统理论。
Kahneman认为&＃xff0c;人的认知系统主要分为“系统1”和“系统2”两个部分。“系统1”所主导的思维是直觉性的、下意识的和非语言的&＃xff0c;它使得人类能在熟悉的情况下做出不假思索的快速反应&＃xff1b;而“系统2”则是有意识的思维&＃xff0c;注重逻辑、规划、推理和因果关系&＃xff0c;它使得人类能在全新的情况下做出判断和决策。
Bengio说&＃xff0c;目前的深度学习类似于“系统1”的思维模式&＃xff0c;想要提升至人类水平的智能&＃xff0c;则需要开发出类似“系统2”的认知系统&＃xff0c;他认为这必将是未来的发展方向&＃xff0c;也是目前深度学习发展所遇到的瓶颈。
Bengio指出&＃xff0c;为突破该瓶颈&＃xff0c;或许可以向自然智能身上获取灵感&＃xff0c;模拟人类婴儿的学习模式。
目前深度学习都是基于独立同分布的假设&＃xff0c;但实际现状是&＃xff0c;我们感兴趣的往往是出现次数非常少的数据。因此&＃xff0c;Bengio认为&＃xff0c;分布外泛化&＃xff08;out-of-distribution generalization&＃xff09;是目前深度学习所欠缺的&＃xff0c;而且是向“系统2”推进的关键。
同时&＃xff0c;他还提出&＃xff0c;提升深度学习需要从“个体”&＃xff08;agent&＃xff09;的角度考虑。个体之间的互动也将影响深度学习的发展&＃xff0c;因此需要采取包括建设更好的模型等措施。
Bengio还提到&＃xff0c;“系统2”的两大关键是注意力和意识。注意力是近年深度学习发展的一个重要技术&＃xff0c;目前已有大量的实现和探讨。而人类意识往往是先验的。他提出&＃xff0c;这可以通过稀疏因子图&＃xff08;sparse factor graph&＃xff09;实现。稀疏因子图可用于学习变量间的因果关系&＃xff0c;从而构造变量间的因果关系。
三巨头笑谈多年研究无人问津
演讲结束后&＃xff0c;Hinton、LeCun、Bengio“三巨头”进行了对话讨论。
深度学习三巨头的再次聚首是深度学习的一次胜利的转折&＃xff0c;该学科曾经被抛弃&＃xff0c;甚至也被AAAI淘汰。这也有点自相矛盾&＃xff0c;因为这三场演讲似乎都借用了通常被认为属于AI的对立面&＃xff08;即“象征性” AI理论家&＃xff09;的术语&＃xff0c;他们是几年前抛弃了Bengio&＃xff0c;Hinton和LeCun的人。
“然而&＃xff0c;你们中的一些人对象征性性的人工智能世界有点轻蔑&＃xff0c;”主持人、麻省理工学院教授Leslie Kaebling注意到了术语的借用。 “我们能成为朋友吗&＃xff1f;还是不能&＃xff1f;”她问道&＃xff0c;引得观众哄堂大笑。
Hinton站在会议桌旁&＃xff0c;没有坐下&＃xff0c;干脆地打趣道&＃xff1a;“好吧&＃xff0c;我们有着悠久的历史&＃xff0c;比如&＃xff0c;”引起了更多的笑声。
“上一次我向AAAI提交论文时&＃xff0c;得到了我有史以来最差的评价&＃xff0c;而且很刻薄&＃xff01;” Hinton说。
“上面说&＃xff0c;Hinton已经研究这个想法7年了&＃xff0c;没人感兴趣&＃xff0c;是时候继续前进了&＃xff0c;”Hinton回忆说&＃xff0c;LeCun和Bengio笑了&＃xff0c;他们也默默无闻地工作了几十年&＃xff0c;直到2012年的深度学习取得突破。“忘记这个需要一段时间&＃xff0c;”Hinton说&＃xff0c;虽然也许忘记过去并继续前进会更好&＃xff0c;他也承认。
Kaebling的问题击中了要害。三位科学家的演讲都暗示了他们的成果曾受到怀疑论者的攻击。
LeCun表示&＃xff0c;他在“社交媒体上还算活跃&＃xff0c;并注意到很多人对于深度学习是什么并不清楚”。LeCun影射的正是之前与他在推特上来回争论的深度学习评论家Gary Marcus等人&＃xff0c;他们的争论有时甚至有些剑拔弩张。LeCun在演讲的最开始用一张幻灯片定义了深度学习&＃xff0c;回应的正是12月Marcus和Bengio之间的一场争论。
但当晚的大多数情况下&＃xff0c;三人之间还是显现出惺惺相惜之意。当有听众提问&＃xff0c;对于彼此的观点有什么无法认同的地方时&＃xff0c;Bengio打趣道&＃xff1a;“这招Leslie已经在我们身上使过了&＃xff0c;没有用。”Hinton则表示&＃xff1a;“我可以告诉你有啥我不认同他们的。Bengio的邮件地址以‘魁北克’结尾。而我认为&＃xff0c;在‘魁北克’之后还应该加上国家代码&＃xff0c;但他没加。”
他们还趁机损了对方几句。Hinton在他演讲的一开始就说明&＃xff0c;他就是针对LeCun的。LeCun在30年前实现了卷积神经网路&＃xff0c;并使其成为实用技术。Hinton表示&＃xff0c;他要证明为何卷积神经网络完全是“垃圾”&＃xff0c;应该以自己的胶囊网络代替。Hinton还自嘲称&＃xff0c;过去三年中&＃xff0c;他每年都会推出一个新版本的胶囊网络。他笑着说道&＃xff1a;“忘记你们所熟悉的老版本胶囊网络吧&＃xff0c;它们都是错的&＃xff0c;这个版本才是对的。”
作为一门学科&＃xff0c;其中的有些困难将越来越难以解决。当Kebling问及&＃xff0c;是否有人对于大公司使用AI的目的和打算表示担忧时。Hinton笑着指指LeCun&＃xff0c;LeCun也笑着回指了Hinton。LeCun主管Facebook的AI研究部门&＃xff0c;而Hinton则是谷歌AI团队成员。Hinton说&＃xff1a;“呃&＃xff0c;我觉得他们应该管管假新闻的事&＃xff0c;但……”他说着&＃xff0c;声音小了下去。与此同时&＃xff0c;LeCun回应道&＃xff1a;“实际上&＃xff0c;我们正在处理这事。”这次交锋引发了现场最大的掌声和笑声。
对于该领域的整体架构和如何改进&＃xff0c;三位科学家提出了一些想法。Bengio指出&＃xff0c;如今年轻学者们发表论文的压力比他读博士学位时大多了。他认为必须从结构上做出改变&＃xff0c;让学者们能够更加关注长期的问题。LeCun同时也是纽约大学的教授。他表示作为一名教授&＃xff0c;“我都不会录取我这样的学生。”
Hinton多年来默默无闻地努力。他用慢吞吞温柔的英国腔&＃xff0c;设法以轻松的方式阐释了这种短视的研究所带来的问题。
他说&＃xff1a;“对于这个过程我提出这样一个模型。人们就某个想法研究了很短的时间&＃xff0c;取得了一点点进展就发表了论文。“
“这就好比有人拿了一本很难的数独书&＃xff0c;浏览了一遍&＃xff0c;将每个数独题里简单的几个空填了。这给别人带来了大麻烦。”
参考链接&＃xff1a;
https://www.zdnet.com/article/deep-learning-godfathers-bengio-hinton-and-lecun-say-the-field-can-fix-its-flaws/
方便交流学习&＃xff0c;备注&＃xff1a;昵称-学校&＃xff08;公司&＃xff09;-方向&＃xff0c;进入DL&NLP交流群。
方向有很多&＃xff1a;机器学习、深度学习&＃xff0c;python&＃xff0c;情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
记得备注呦
推荐阅读&＃xff1a;
【ACL 2019】腾讯AI Lab解读三大前沿方向及20篇入选论文
【一分钟论文】IJCAI2019 | Self-attentive Biaffine Dependency Parsing
【一分钟论文】 NAACL2019-使用感知句法词表示的句法增强神经机器翻译
【一分钟论文】Semi-supervised Sequence Learning半监督序列学习
【一分钟论文】Deep Biaffine Attention for Neural Dependency Parsing
详解Transition-based Dependency parser基于转移的依存句法解析器
经验 | 初入NLP领域的一些小建议
学术 | 如何写一篇合格的NLP论文
干货 | 那些高产的学者都是怎样工作的&＃xff1f;
一个简单有效的联合模型
近年来NLP在法律领域的相关研究工作
让更多的人知道你“在看”
京公网安备 11010802041100号