【AI计算的新摩尔定律】3.5个月翻一倍，6年增长30万倍

推动人工智能发展的因素有三个：算法创新、数据（可以是有监督的数据或交互式的环境），以及可用于训练的计算量。算法创新和数据很难追踪，但计算量是可量化的，这为衡量人工智能的进展速度提供了机会。当然，大规模计算的使用有时候会暴露当前算法的缺点。但至少在当前的许多领域中，更多的计算似乎就可以预见更好的性能，并且计算力常常与算法的进步相辅相成。

对于“计算能力”，我们知道著名的“摩尔定律”（Moore's law）：集成电路上可容纳的元器件的数目，约每隔 18-24 个月便会增加一倍，性能也将提升一倍。

今天，非盈利的AI研究机构OpenAI发布了一份“AI与计算”的分析报告，报告显示：

计算能力的提升一直是AI进步的一个关键要素，所以只要这种趋势继续下去，就值得我们为远远超出当今能力的AI系统的影响做好准备。

我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

AI计算的“摩尔定律”：3.43个月增长一倍

对于这个分析，我们认为相关的数字不是单个GPU的速度，也不是最大的数据中心的容量，而是用于训练单个模型的计算量——这是与最好的模型有多么强大最为相关的数字。

由于并行性（硬件和算法）限制了模型的大小和它能得到有效训练的程度，每个模型的计算量与计算总量的差别很大。当然，少量的计算下仍取得了许多重要的突破，但这个分析仅涵盖计算能力。

原文链接