通过细胞自动机，AI在「我的世界」学会了盖房子

子豪 发自 凹非寺
量子位 报道 | 公众号 QbitAI

了解游戏「我的世界&＃xff08;MineCraft&＃xff09;」的读者&＃xff0c;一定很熟悉这样的画面。

△图源&＃xff1a;Science Magazine

但是&＃xff0c;如果盖房子的不是人&＃xff0c;而是AI呢&＃xff1f;

这是来自哥本哈根信息技术大学、约克大学和上海大学的学者&＃xff0c;利用3D神经元细胞自动机&＃xff08;NCA&＃xff09;完成的新研究。

不仅能生成静态结构&＃xff0c;当然不仅是公寓&＃xff0c;树木、城堡也可以&＃xff1a;

△图源&＃xff1a;Science Magazine

还能生成功能性机器&＃xff0c;比如爬行的毛毛虫&＃xff1a;

△图源&＃xff1a;Science Magazine

把它一切两段&＃xff0c;还会玩再生术&＃xff0c;成功分身……

&＃xff08;咦~有画面感了&＃xff09;

这是怎么做到的&＃xff1f;

神经元细胞自动机的应用

研究者其实是受到「生命游戏」中元胞自动机&＃xff08;CA) 的启发&＃xff0c;在2D基础上开发了3D神经元细胞自动机&＃xff08;NCA&＃xff09;。

「生命游戏」就是基于元胞自动机的原理制作的&＃xff0c;也可以说是元胞自动机的一个展示。

它是由英国数学家约翰·康威在1970年发明的。在网格中&＃xff0c;每个方格居住着一个细胞&＃xff0c;其状态由其周围的8个细胞决定&＃xff0c;以黑色代表细胞存活。

之后&＃xff0c;许多研究采用了更为复杂的神经网络规则&＃xff0c;被称为神经元细胞自动机&＃xff08;NCA&＃xff09;。但是其应用大多局限于2D结构&＃xff0c;或是只能生成简单的3D结构。

为了提高NCA在实际应用中的通用性&＃xff0c;研究团队开发了3D NCA。

它利用3D卷积捕捉周围更多的细胞&＃xff0c;以生成复杂的3D结构&＃xff0c;并且具有更多类型的建造单元。

△3D神经元细胞自动机更新规则

研究人员试图利用NCA从单个活细胞生成目标实体&＃xff0c;利用监督学习对重建损失进行优化。

并且&＃xff0c;将「我的世界」中的实体作为3D网格中的细胞&＃xff0c;其状态向量包含&＃xff1a;块类型、存活状态、隐藏状态。

但是&＃xff0c;由于每个单元是单一的块类型&＃xff0c;于是他们将结构重建任务视为一个多类分类问题&＃xff0c;预测给定单元的类型。

利用Pytorch提供的LogSoftmax和NLLLoss方法组合&＃xff0c;以实现是在目标与预测的细胞结构之间&＃xff0c;最小的交叉熵损失。

这种损失导致性能不稳定**&＃xff0c;并且模型展现出对“空气”块的偏好。

在训练中&＃xff0c;“空气”块通常占据了所选结构的大部分&＃xff0c;因此&＃xff0c;训练数据不平衡可能会导致模型过度预测。

为解决这一问题&＃xff0c;研究人员根据是否归类为“空气 ”块&＃xff0c;将损失计算划分为两部分&＃xff0c;并且增加了一个交叉重叠&＃xff08;IOU&＃xff09;成本&＃xff0c;测量非“空气”块与实体之间的绝对差&＃xff0c;以此提升精度。

效果如何&＃xff1f;

针对模型在静态结构和动态功能机器的重构性能&＃xff0c;研究人员进行了评估&＃xff0c;并记录了各项参数。

结果显示&＃xff0c;NCA的重构能力具有鲁棒性&＃xff1a;

△归一化IOU/结构性损失

△归一化总损失

不过&＃xff0c;NCA对于构建较大的实体&＃xff08;比如&＃xff1a;教堂&＃xff09;仍具有挑战性&＃xff0c;因为模型经常陷入局部极小值&＃xff0c;需要更长的时间来训练。

尽管大教堂模型比一些实体的损失更低&＃xff0c;但有许多随机生成的结构&＃xff0c;因此没有其他实体自然。目标结构与生成效果的对比&＃xff1a;

此外&＃xff0c;在生成自然界中更随机的实体&＃xff08;比如&＃xff1a;橡树&＃xff09;时&＃xff0c;也更加困难。

正如前文提到的&＃xff0c;NCA能生成静态结构&＃xff0c;并且可以很好地增加单个块类型的数量&＃xff0c;生成多样化和复杂的内饰&＃xff0c;比如公寓楼内部&＃xff1a;

令人意外的是&＃xff0c;在丛林神庙中&＃xff0c;NCA甚至生成了一个箭陷阱。

在生成功能性机器时&＃xff0c;研究人员发现&＃xff0c;不同结构的生成模式也不同&＃xff1a;

一些结构是从小细胞渐渐扩大到最终形态&＃xff1b;而毛毛虫则是先快速生成&＃xff0c;然后再淘汰细胞形成最终的结构。

△图源&＃xff1a;Science Magazine

此外&＃xff0c;NCA的再生特性也是一大亮点&＃xff0c;除了从单个细胞中生长出复杂的结构外&＃xff0c;这些局部更新规则还允许再生或修复损伤。

即使未经训练&＃xff0c;它仍然能恢复某些受损的结构&＃xff0c;比如树&＃xff1a;

不过&＃xff0c;研究人员在对比测试后发现&＃xff1a;

在未经过再生训练时&＃xff0c;模型的再生率仅有30%&＃xff1b;而进行再生训练后&＃xff0c;生成率能达到99%。

3D NCA引起了网友的广泛关注&＃xff0c;reddit上还有网友提到&＃xff1a;

NCA在物理学上的应用也值得探索&＃xff0c;比如&＃xff1a;它可以用来模拟晶体形成。

参考链接&＃xff1a;
[1]https://arxiv.org/abs/2103.08737
[2]https://www.sciencemag.org/news/2021/03/watch-artificial-intelligence-grow-walking-caterpillar-minecraft
[3]https://en.wikipedia.org/wiki/Conway%27s_Game_of_Life
[4]https://twitter.com/risi1979/status/1372158321256456198
[5]https://www.reddit.com/r/MachineLearning/comments/m70b2p/r_growing_3d_artefacts_and_functional_machines/

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容&＃xff0c;未经账号授权&＃xff0c;禁止随意转载。

加入AI社群&＃xff0c;拓展你的AI行业人脉

量子位「AI社群」招募中&＃xff01;欢迎AI从业者、关注AI行业的小伙伴们扫码加入&＃xff0c;与50000&＃43;名好友共同关注人工智能行业发展&技术进展&＃xff1a;