DeepMind重磅开源强化学习框架！覆盖28款游戏，24多个算法

乾明 边策 一璞 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

没有DeepMind的命&＃xff0c;烧不起DeepMind一样的研发投入&＃xff0c;但你现在可以有DeepMind苦心多年研究出的算法和代码。

刚刚&＃xff0c;这家背靠谷歌&＃xff0c;烧了数十亿元的全球顶尖AI研究机构&＃xff0c;开源了史上最全强化学习框架OpenSpiel。

在这个框架中&＃xff0c;实现了28款可用于研究强化学习的棋牌类游戏和24个强化学习中常用的算法&＃xff0c;DeepMind的成名作AlphaGo的基础算法也在其列。

此外&＃xff0c;还包括用于分析学习动态和其他常见评估指标的工具。

更关键的是&＃xff0c;OpenSpiel适用人群也非常广泛。

它的核心API和游戏用C&＃43;&＃43;实现&＃xff0c;并提供了Python API&＃xff0c;可用于更高级别的机器学习&＃xff0c;优化和强化学习。这些语言也可以很容易地组合在一起。

而且&＃xff0c;代码的一个子集也已经使用Swift for Tensorflow直接移植到了Swift进行学习和推理&＃xff0c;不需要跨语言操作。

开源消息放出后不久&＃xff0c;就在Twitter上引起了数百转发和点赞。

史上最全强化学习框架

进一步说&＃xff0c;OpenSpiel&＃xff0c;是一个强化学习环境和算法的集合。在这个框架中&＃xff0c;DeepMind对大部分环境和算法也都已经进行了全面测试。

目前&＃xff0c;在OpenSpiel中实现的算法一共有24种&＃xff0c;分别是&＃xff1a;

极小化极大&＃xff08;Alpha-beta剪枝&＃xff09;搜索、蒙特卡洛树搜索、序列形式线性规划、虚拟遗憾最小化&＃xff08;CFR&＃xff09;、Exploitability

外部抽样蒙特卡洛CFR、结果抽样蒙特卡洛CFR、Q-learning、价值迭代、优势动作评论算法(Advantage Actor Critic&＃xff0c;A2C)、Deep Q-networks (DQN)

短期价值调整&＃xff08;EVA&＃xff09;、Deep CFR、Exploitability 下降(ED) 、&＃xff08;扩展形式&＃xff09;虚拟博弈&＃xff08;XFP&＃xff09;、神经虚拟自博弈(NFSP)、Neural Replicator Dynamics&＃xff08;NeuRD&＃xff09;

遗憾策略梯度&＃xff08;RPG, RMPG&＃xff09;、策略空间回应oracle&＃xff08;PSRO&＃xff09;、基于Q的所有行动策略梯度&＃xff08;QPG&＃xff09;、回归CFR (RCFR)、PSROrN、α-Rank、复制/演化动力学。

其中&＃xff0c;只有短期价值调整&＃xff08;EVA&＃xff09;、Deep CFR和PSROrN等算法只是进行了初步测试&＃xff0c;其他算法都经过了全面的测试。

Spiel意指桌面游戏。因此&＃xff0c;OpenSpiel中的环境就是相关棋牌类游戏。一共有28款&＃xff1a;

双陆棋、突围棋、定约桥牌、Coin Game、屏风式四子棋、协作推箱子、国际象棋、第一价格密封拍卖、围棋、Goofspiel&＃xff08;一种多玩家纸牌游戏&＃xff09;

三宝棋、六贯棋、Kuhn扑克、Leduc扑克、大话骰、Markov Soccer、配对硬币&＃xff08;3人游戏&＃xff09;、矩阵游戏、Oshi-Zumo、西非播棋、转盘五子棋、Phantom三连棋

Pig游戏、三连棋、Tiny Bridge、Y&＃xff08;一种棋类游戏&＃xff09;、Catch&＃xff08;仅支持Python&＃xff09;、Cliff-Walking在悬崖边走的醉汉&＃xff08;仅支持Python&＃xff09;。

在上述游戏中&＃xff0c;只有Coin Game、协作推箱子、六贯棋、Markov Soccer和Phantom三连棋只是进行了初步测试&＃xff0c;其余的游戏都经过了全面的测试。

基于上述的游戏和算法&＃xff0c;可用OpenSpiel研究通用强化学习和游戏中的搜索 / 规划。

OpenSpiel怎么样&＃xff1f;

OpenSpiel提供了一个带有C&＃43;&＃43;基础的通用API &＃xff0c;它通过Python绑定&＃xff08;经由pybind11&＃xff09;公开。

游戏用C&＃43;&＃43;编写&＃xff0c;是因为可以用快速和内存效率更高的方法实现基本算法。一些自定义RL环境也会在Python中实现。

最重要的是&＃xff0c;OpenSpiel的设计易于安装和使用、易于理解、易于扩展并且通用。OpenSpiel按照以下两个重要设计标准构建&＃xff1a;

1、简单。代码应该是非编程语言专家可读、可用、可扩展的&＃xff0c;特别是来自不同领域的研究人员。

OpenSpiel提供了用于学习和原型化的参考实现&＃xff0c;而不是需要额外假设&＃xff08;缩小范围&＃xff09;或高级&＃xff08;或低级&＃xff09;语言特性的完全优化或高性能代码。

2、轻量。对于长期兼容、维护和易用性&＃xff0c;依赖项可能会有问题。除非有充分的理由&＃xff0c;否则倾向于避免引入依赖关系来保持便携性和易于安装。

支持的博弈类型

在OpenSpiel的游戏可以表示为各种广泛形式的博弈&＃xff1a;

• 常和博弈

• 零和博弈

• 协调博弈

• 一般博弈

其中&＃xff0c;常和博弈中智能体之间是严格的竞争关系&＃xff0c;协调博弈中智能体之间是严格的竞争关系&＃xff0c;一般博弈则介于两者之间。

另外&＃xff0c;根据智能体能否获得博弈过程中的所有信息&＃xff0c;又可以将博弈分为&＃xff1a;

• 完美信息博弈

• 不完美信息博弈

象棋和围棋是没有偶然事件的完美信息博弈&＃xff0c;双陆棋是有偶然事件的完美信息博弈&＃xff0c;而像石头剪刀布、扑克这样的游戏属于不完美信息博弈。

可视化工具和评估方法

OpenSpiel有一些用于可视化和评估的工具&＃xff0c;尽管有些工具也被认为是算法&＃xff08;例如下面要介绍的α-rank&＃xff09;。OpenSpiel中提到的所有工具和评估都包含在代码库的egt子目录下。

1、演化和策略学习动力学的可视化

在多智能体强化学习的文献中&＃xff0c;一种常见的可视化工具是相图&＃xff0c;它显示了描述特定动力学下策略局部变化的矢量场或粒子轨迹。

下面展示了OpenSpiel为四种常见的bimatrix游戏生成的相图。

2、评估工具α-rank

α-Rank是一种算法&＃xff0c;利用进化博弈论对多人游戏中的智能体进行交互排名。α-Rank定义了马尔可夫转移矩阵&＃xff0c;其状态对应于玩家使用的智能体的元组&＃xff0c;以及通过特定的进化模型通知的转换。该进化模型确定了排名与博弈论中马尔可夫-康利链解决方案概念的对应关系。

其主要的优点是&＃xff0c;它可以在不涉及智能体关系的场景中对智能体进行排名&＃xff08;例如石头剪刀布&＃xff09;&＃xff0c;这与Elo&＃xff08;等级分&＃xff09;评级系统不同。

α-Rank还有一个优点是&＃xff0c;在一般游戏中的计算也是容易处理的&＃xff0c;不像依赖于纳什均衡的排序系统。

安装方法

目前DeepMind已经在Debian和Ubuntu两个Linux系统上测试了OpenSpiel&＃xff0c;具体安装方法如下&＃xff1a;

为了能够从任何位置导入Python代码&＃xff0c;需要将根目录和open_spiel目录添加到PYTHONPATH。使用virtualenv时&＃xff0c;应添加路径/bin/activate。

# For the python modules in open_spiel.
export PYTHONPATH&＃61;$PYTHONPATH:/
# For the Python bindings of Pyspiel
export PYTHONPATH&＃61;$PYTHONPATH://build/python


然后你就可以运行自己的第一个游戏了&＃xff01;

examples/example --game&＃61;tic_tac_toe

27名作者、豪华阵容背景

OpenSpiel可是个大项目&＃xff0c;为此&＃xff0c;DeepMind动用了一个巨大的团队——DeepMind以及Google的27人&＃xff0c;光是共同一作&＃xff0c;就有4位之多。

四位共同一作都来自DeepMind。

第一位Marc Lanctot&＃xff0c;是DeepMind的研究科学家&＃xff0c;他此前博士毕业于阿尔伯塔大学&＃xff0c;是哲学&AI双料博士&＃xff0c;之后去了马斯特里赫特大学做博士后研究员&＃xff0c;自此开始他就一直在研究多智能体决策问题。

第二位Edward Lockhart&＃xff0c;DeepMind研究工程师&＃xff0c;此前是剑桥大学的数学硕士&＃xff0c;曾在Morgan Stanley、花旗银行、瑞银这些金融机构做IT相关的事情&＃xff0c;后来跳槽到DeepMind。他在语音合成、强化学习等方向做过不少研究。

第三位Jean-Baptiste Lespiau&＃xff0c;也是DeepMind研究工程师&＃xff0c;是个法国人&＃xff0c;目前在DeepMind巴黎分部&＃xff0c;他是巴黎综合理工学院的系统工程硕士。

第四位Vinicius Zambaldi&＃xff0c;DeepMind高级研究工程师&＃xff0c;巴西人&＃xff0c;米纳斯吉拉斯联邦大学计算机硕士&＃xff0c;加入DeepMind之前已经是创业公司CTO了。

开玩笑说&＃xff0c;虽然一作中有三位不是博士加持&＃xff0c;但现在这份研究&＃xff0c;应该足够被授予地球上任一名校的博士学位了吧&＃xff1f;

另外&＃xff0c;在作者团队的单位中&＃xff0c;除了DeepMind和Google&＃xff0c;还有AlphaGo打造者David Silver母校阿尔伯塔大学&＃xff08;黄士杰也是该校校友&＃xff09;。

烧自己的钱&＃xff0c;为全人类研究

当然&＃xff0c;这一次重磅开源&＃xff0c;或许也能让DeepMind近来形象扭转很多。

因为纵使DeepMind曾经捧红AlphaGo&＃xff0c;几乎一手推起了AI热潮&＃xff0c;但这家公司自己&＃xff0c;依旧处在日复一日的烧钱当中。

光2018年就几乎烧掉了40亿元人民币。

而累计之前的投入&＃xff0c;2016年亏损1.54亿美元&＃xff0c;2017年亏损3.41亿美元&＃xff0c;2018年亏损5.72亿美元&＃xff0c;三年累计起来&＃xff0c;已经亏掉了超过10亿美元。

并且按照公开披露信息&＃xff0c;可能还会接着烧掉同等规模的钱&＃xff0c;才能进一步产生他们追求的AI境界和回报——但母公司谷歌已实名支持&＃xff0c;表示会撑到底。

而这十亿美元的投入&＃xff0c;几乎都被DeepMind押注在了一件事上&＃xff1a;

强化学习。

正是借助强化学习&＃xff0c;DeepMind逐步攻克围棋、《星际》和雅达利游戏等一系列难题&＃xff0c;最终的目的&＃xff0c;是创造出目前只在科幻小说电影里存在的通用人工智能&＃xff08;AGI&＃xff09;。

而这次的OpenSpiel&＃xff0c;集中了游戏竞技领域中的大量场景和算法&＃xff0c;可以说是过去长线投入的集大成者。

现在&＃xff0c;DeepMind将多年苦心、巨额投入研发的成果悉数开源&＃xff0c;真可谓业界良心。

此前在DeepMind年报出炉&＃xff0c;披露亏损40亿并人均年薪高达400多万的时候&＃xff0c;就有评论说&＃xff0c;对于DeepMind这样顶级AI研究机构的投入&＃xff0c;实际是人类对最前沿技术的支持。

更有甚者&＃xff0c;认为这些投入和薪资&＃xff0c;与DeepMind带来的成果相比&＃xff0c;简直不能更还算了。

而如今&＃xff0c;DeepMind一股脑将成果开源&＃xff0c;更是烧自己的钱&＃xff0c;为全人类研究。

这份诚意和姿态&＃xff0c;是不是足够堵上质疑者的嘴了&＃xff1f;

你说呢&＃xff1f;

— 完 —

AI社群 | 与优秀的人交流

AI内参 | 关注行业发展

量子位 QbitAI · 头条号签约作者

վ&＃39;ᴗ&＃39; ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !