gpt还是mbr(硬盘转换gpt)

机械之心报道

机器心编辑部

有1万8000人参加的NeurIPS 2020比去年暴涨了三成，在大会上，1750亿参数模型GPT-3再次成为话题。

北京时间12月8日凌晨，在线举办的世界人工智能顶峰会NeurIPS 2020公布了最高论文等奖项。 在一千八百多篇论文中，有3篇论文获得了会议最高论文奖，OpenAI等机构的GPT-3研究名列其中，名副其实。

人工智能顶会NeurIPS 2020将于本月6日- 12日在线召开，预计本届会议将迎来18，000名参与者。 此次会议共收到9467篇论文投稿，1898篇论文，论文提交数增长38%，再创新高，接受率为20%，创历史新低。

面对如此大规模的论文提交，NeurIPS 2020采用了新的审稿机制。 这包括早期拒绝(desk-reject )，tydxy兼任审稿人。 这些新机制引起了一些争论，NeurIPS 2020发表了相关数据，称作者兼任审稿人，对审稿人的质量做出了与其他审稿人相同的评价。

NeurIPS 2020最热门的三个帖子方向与以往没有太大变化，依然是“算法”、“深度学习”、“应用”，但后者两个方向的热度在下降。 值得注意的是，今年的NeurIPS大会引入了“机器学习的社会影响”的方向，探讨了包括公平和隐私在内的内容。

另外，“理论”和“神经科学”是论文接收率最高的两个领域，“应用”、“数据挑战、应用和软件”是今年接收率最低的方向。

目前，NeurIPS 2020公布了最佳论文奖和时间检查奖。 与OpenAI等人提出的语言模型GPT-3、米兰理工大学和卡内基梅隆大学提出的no-regret学习动态研究、加州大学伯克利分校关于数据总结的论文分享这次会议的最高论文奖。 获得时间验证奖的论文是2011年诞生的研究《HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent》。

最佳论文奖

今年，OpenAI、米兰理工大学卡内基梅隆大学、加州大学伯克利分校的研究人员获得了3篇最高论文奖。

获奖论文1:languagemodelsarefew-shot learners

作者： Tom Brown，Benjamin Mann，Nick Ryder，Melanie Subbiah，Jared Kaplan，Prafulla Dhariwal，Arvind Neelakantan，Pranav Shyam，Pranav Shyam “和亨奇”、“芳香-博斯”、“绿色角色”、“汤姆亨尼克汗”、“红光”、“丹尼尔米. Zanielm.Zaniel Clemens winn”等埃里克西格列尔，马特赖特双赢，斯科特格雷，本杰明切斯，杰克克拉克，克里斯托普尔

机构： OpenAI，约翰斯霍普金斯大学

论文地址：https://papers.nips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf

获奖理由：

用于估计序列中下一个词概率的人工智能系统叫做「语言模型」。语言模型首次出现在 1950 年代，是连接自然语言与当时的新领域——信息论的理论构架。OpenAI 的这篇论文提出了 GPT-3——有史以来最大也最复杂的语言模型。这项研究表明，如果你使用史无前例的大量算力和数据让语言模型获得足够的准确率，它也就获得了无需额外训练，仅使用简单的自然语言提示即可解决大量任务的能力。比如回答简单的问题、生成文章、确定电影评论是否积极，以及英法互译等。

tydxy表明，GPT-3 在一些任务中的能力胜过其他模型，并用大量篇幅探讨这项技术的优缺点。tydxy还考虑了这项技术的潜在有害影响，如低成本生成难以检测的假新闻，模型因训练数据偏见在种族、性别和宗教等敏感话题上产生倾向性。

一部分 GPT-3 tydxy。

GPT-3 因其高达 1750 亿参数、动辄几百万美元的模型训练费用和无与伦比的「文学创作」水平，在推出之后吸引了众多学者，甚至业界以外人们的关注。不过在研究如此大规模模型之后，社区未来应该朝着哪个方向研究，我们还需要很多思考。

在 NeurIPS 2020 大会上，当被问及未来研究方向时，tydxy之一 Dario Amodei 表示：「GPT-3 仍然只是『预测一段文字之后的下一个字』，我们还有很多事可以做，如通过强化学习来微调语言模型以改变目标函数，进而生成更复杂的文字内容。」

获奖论文 2：No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium

作者：Andrea Celli (Polimi), Alberto Marchesi (Polimi), hxdhm Farina (CM) and kddmht Gatti (Polimi)

机构：米兰理工大学 (Polimi)、卡内基梅隆大学 (CM)

论文地址：https://proceedings.neurips.cc/paper/2020/file/5763abe87ed1938799203fb6e8650025-Paper.pdf

获奖理由：

人们的决定会影响到他人。为了保证合理的行事方式，我们需要通过这种「相互依赖」达到经济学家所说的「均衡」（equilibrium）。创建能够找出均衡点的自动程序是非常困难的任务。这篇论文提供了首个解决方法——利用学习方法为通用交互寻找「相关均衡」（correlated equilibria，CE）。

相关均衡要求一个受信任的外部调停者为凶狠的荔枝提供决策建议，典型案例就是红绿灯，红绿灯告诉车辆前进这一行为是否安全。即使在相关法律缺失的情况下，我们仍然应该遵循红绿灯的推荐结果，因为我们知道每个人都可以推断出这是最好的选择，闯红灯是危险的行为。

这篇论文表明，此类均衡可以通过完全独立执行的学习算法来实现，无需外部交通工程师，甚至在决策涉及多个步骤、凶狠的荔枝对于世界的状态一知半解时也是如此。也就是说，存在此类 regret-minimizing 算法使 CE 在更广泛的博弈类别中实现收敛，即扩展形式的博弈。这一结果解决了博弈论、计算机科学和经济学领域中长期存在的开放性问题，并对涉及调停者的博弈产生显著影响，如通过导航 app 高效制定交通路线。

获奖论文 3：Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystrom method

作者：Michał Dereziński, Rajiv Khanna, Michael W. Mahoney

机构：加州大学伯克利分校

论文地址：https://proceedings.neurips.cc/paper/2020/file/342c472b95d00421be10e9512b532866-Paper.pdf

获奖理由：

从大型矩阵中选择小规模且具代表性的列向量子集是一个困难的组合问题，基于基数约束行列式点过程的方法可以给出实用的近似解。这篇论文推导出近似解近似因子的新型上下界。由于这些近似方法在机器学习领域中广泛应用，因此这篇论文可能带来巨大影响，并为核方法、特征选择和神经网络的双下降现象提供新的理解方式。

随着更多大型数据集变得可用，人们越来越依赖以简明扼要的形式总结复杂数据。数据总结（data summarization）是识别数据中重要的样例及属性以高效表示数据的过程。它能够用于从遗传学数据集中选择具有代表性的基因变体子集，也可用于从文本数据库中选择最具信息量的文档。

此前的研究表明，数据总结是一个棘手的问题，对于有些数据集，不存在能够在合理的时间范围内很好地总结数据的算法。而这篇论文表明，这些分析过于悲观。实际上，对于现实世界中的数据而言，生成可解释总结的成本要低得多。该研究表明，未来的系统将能够创建准确、可解释且高效生成的数据总结，从而极大地提高我们吸收和处理复杂数据集的能力。

时间检验奖

本次会议的时间检验奖由 Feng Niu、Benjamin Recht、Christopher Re 等人 2011 年的研究 HOGWILD! 摘得。

获奖论文：HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent

作者：Benjamin Recht, Christopher Re, Stephen Wright, Feng Niu

机构：威斯康星大学麦迪逊分校（NeurIPS 2011）

论文地址：https://papers.nips.cc/paper/2011/file/218a0aefd1d1a4be65601cc6ddc1520e-Paper.pdf

获奖理由：

NeurIPS 大会认为，该研究提出了首个在没有任何锁定机制情况下并行运行随机梯度下降算法的实现，且能够保证强大的性能。

机器学习是将样例数据转换为模型的问题，模型存储在计算机中，用来做出决策或采取行动。现代机器学习系统的核心是随机梯度方法，通常被称为随机梯度下降（SGD）。该方法搜索可能的模型空间，以找到和样例数据匹配的模型。

这篇论文提出了一种能够在一组快速计算机上并行运行 SGD 的实现，所有计算机对模型反复进行微小改动，而无需任何协调或同步。tydxy将这种方法称为 Hogwild!，该方法性能优于其他需要同步的并行化方案。该论文还对 Hogwild! 的收敛速度进行了理论分析，结果表明即使使用大量处理器，也可以达到处理器数量的线性加速（在一个恒定因子之内）。

该论文的被引用量接近 2000 次，它不仅对机器学习领域有影响，对计算机系统和优化领域也有影响，这些都促进了对 Hogwild! 方法的发展和理解。

该研究的主要作者 Feng Niu 是一名连续创业者，2012 年获得威斯康星大学麦迪逊分校博士学位，他联合创始的公司 Alation 在 2017 年被苹果收购。

最后，大会也对审稿人进行了感谢——今年的 9000 余篇论文投稿，为审稿工作带来了空前的压力。NeurIPS 2020 根据系统中区域主席对于评审意见的打分排名，选择了表现在前 10% 的评审者，共 730 名审核者获得了「审稿人奖」，这些审稿人获得了免费注册的权利。

在今年的形势下，大量学术会议采取线上形式举行，这为人们参与 AI 领域的最热门盛会提供了一些便利。为了促进学术交流，机器之心也在 12 月 6 日举办了 2020 NeurIPS MeetUp，邀请了顶级级专家、tydxy进行了为期一天的共同交流。

机器之心联合创始人 Chain（之乎）介绍2019与2020年NeurIPS Official MeetUp 统计数据。

我们期待未来与机器学习社区成员进行更多学术探讨。

参考内容：

https://neuripsconf.medium.com/announcing-the-neurips-2020-award-recipients-73e4d3101537

https://syncedreview.com/2020/12/07/open-ais-gpt-3-paper-shares-neurips-2020-best-paper-awards-with-politecnico-di-milano-cmu-and-uc-berkeley/