当你可以实时编辑你所看到的东西时

最终的结果很难说是完美的（CGI模型看起来像是从3D Movie Maker中借来的），但这个概念是引人注目的。不难想象，在未来的几十年里，这样的应用会变得很普遍。

这项工作背后的团队表示，尽管他们工作中的个别元素之前已经完成，但复合系统还是非常新颖的。TansforMR可以在普通的智能手机和平板电脑上运行，但需要一个4G连接来将数据发送到云端。图像经过处理后，物体不只是被掩盖，就像Snapchat的AR镜头或苹果的Memoji一样，而是完全被编辑掉。物体被检测、分割，然后被"涂抹"（用人工智能生成的背景取代），并以CGI模型代替原始模型。显然这一系统有很多地方需要改进。在低质量的绘画中，帧率只有15fps；滞后时间为50至100毫秒；CGI替换的质量也不是最好的。但是，该系统背后的团队说，这些方面相对容易改进。

保时捷的机器学习研究员穆罕默德-卡里（Mohamed Kari）表示，主要的限制来自于大型图像的计算量非常大，所以对于绘画，目前只能用非常小的图像来做，在512 x 512的图像上操作。但带宽[使用]是可以忽略不计的。这意味着如果能做FaceTime，你就能做TransforMR。

Kari说，该系统的关键要素之一是它对姿势检测的使用。这意味着，例如，当系统检测到一个人时，它会识别出身体的18个独立关节。这意味着CGI替换可以实时固定在目标的运动上。看看TransforMR的操作片段，不难想象这种软件被整合到AR眼镜中。用户可以为他们的一天选择一个"主题"，用科幻的替代品或来自大自然的物品来取代汽车、建筑和人。但是，这将涉及一个巨大的硬件挑战。目前的增强现实眼镜只能在镜片上投射出低分辨率、半透明的覆盖物。现在，我们还没有技术来"编辑"用户在这种硬件上看到的东西。(尽管这可以通过"穿透式"VR系统来实现，在该系统中，第一人称摄像机将实时视频传输到完全遮挡住佩戴者视线的屏幕上。)

"我们在屏幕上重现完整的图像，所以我们可以删除任何我们想删除的东西，但对于增强现实眼镜来说，删除物体是困难的，因为它增加了光强度，以Hololens为例，你是透过玻璃看的，所以去除东西更困难。这个问题有待于研究。"

但为什么保时捷首先要调查这种技术呢？据该公司的人工智能架构师之一Tobias Grosse-Puppendahl说，这一切都是为了改善乘客和司机的体验。未来版本的TransforMR软件可以用来在人们被困在交通中时为他们提供娱乐。"我们的主要问题是，我们如何能够以一种有趣和娱乐的方式来修改现实，以便作出反应？这就是我们想法的起源"。

保时捷的其他研究项目也遵循类似的主题。例如，该公司还建立了一个名为SoundRide的原型系统，它使用汽车的机器视觉来检测风景的变化并提示适当的音乐。"也许，例如，你正开车穿过阿尔卑斯山，行驶在一条美丽的路线上，突然你有一个美妙的景色，也许音乐就会改变，我们正在思考如何通过技术使车内的体验更加有趣和美丽"。而这意味着对人们本来会看到和听到的东西进行修补。"