MIT非视线成像“透视相机”：隔墙观物、影中窥人！

2012年&＃xff0c;MIT计算机视觉科学家安东尼奥·托拉尔巴&＃xff08;Antonio Torralba&＃xff09;在西班牙海岸度假时&＃xff0c;发现他酒店房间墙壁上的杂散阴影似乎不是由任何东西投射出来的。

托拉尔巴意识到&＃xff0c;墙壁上的变色斑块根本不是阴影&＃xff0c;而是窗外庭院的一个微弱的倒立成像。窗户充当了一台最简单的针孔相机&＃xff0c;光线穿过一个小开口&＃xff0c;在另一侧形成倒立的成像。在光线充足的墙壁上&＃xff0c;这些图像几乎是察觉不到的。但让Torralba感到吃惊的是&＃xff0c;世界上充斥着大量我们的眼睛看不到的视觉信息。

“这些图像对我们来说是看不见的。”他说&＃xff0c;“但它们一直都存在于我们的周围。”

受到这一现象的启发&＃xff0c;托拉尔巴和他的同事&＃xff0c;麻省理工学院教授比尔·弗里曼&＃xff08;Bill Freeman&＃xff09;将其称之为无意识的“意外相机”&＃xff1a;窗户、角落、室内植物和其他常见物体&＃xff0c;都可以生成周围环境的微妙图像。这些图像比其他任何图像都要暗1000倍&＃xff0c;通常肉眼是看不见的。 “我们找到了提取这些图像并使其变得可见的方法&＃xff0c;”弗里曼解释道。

在二人合作的第一篇论文中&＃xff0c;弗里曼和托拉尔巴表明&＃xff0c;用iPhone拍下房间墙壁上的灯光变化&＃xff0c;在进行图像处理&＃xff0c;就可以显示出窗外的场景。去年秋天&＃xff0c;他们又和合作者研究发现&＃xff0c;通过拍摄墙角附近的地面&＃xff0c;能够发现人在墙角的另一边的移动。今年夏天&＃xff0c;他们通过拍摄室内植物&＃xff0c;然后用植物叶子投下的不同阴影&＃xff0c;重现了房间其他部分的三维图像。

安东尼奥·托拉尔巴注意到他的酒店房间的窗户是一个意外的针孔相机&＃xff08;1&＃xff09;。通过用纸板覆盖大部分窗户以减小针孔的尺寸&＃xff0c;可以使墙壁&＃xff08;2&＃xff09;上的庭院的微弱图像变清晰&＃xff08;3&＃xff09;。倒立的图像&＃xff08;4&＃xff09;显示出窗外的场景。

2012年&＃xff0c;托拉尔巴和弗里曼关于“意外相机”的论文开始引导研究人员研究周围的角落和推断不直接可见的信息&＃xff0c;称为“非视线成像”&＃xff08;non-line-of-sight imaging&＃xff09;。

2016年&＃xff0c;基于上面的部分成果&＃xff0c;美国国防部高级研究计划局&＃xff08;DARPA&＃xff09;推出了2700万美元的REVEAL计划&＃xff0c;为全国各地许多新实验室提供资金。从此&＃xff0c;一系列新的见解和数学工具&＃xff0c;让非视线成像技术变得更加强大和实用。

除了军事和间谍方向上的应用外&＃xff0c;研究人员表示&＃xff0c;该技术在自动驾驶汽车、机器人视觉、医学成像、天文学、太空探索以及搜索救援任务上都具备潜在的应用前景。

托拉尔巴表示&＃xff0c;他和弗里曼开始研究时并没有什么特别的应用目的。他们只是深入研究图像如何形成&＃xff0c;以及相机构成上的一些基础知识&＃xff0c;而这自然导致随后对光与环境中的物体和表面的相互作用进行更全面的研究。他们开始发现一些没有人想过要发现的东西。托拉尔巴说&＃xff0c;心理学研究表明&＃xff0c;人类对阴影的解释是非常糟糕的。也许一个原因就是&＃xff0c;我们看到的许多阴影实际上并不是真正的阴影。

“反针孔”透视相机

携带着我们视野外的场景图像信息的光线&＃xff0c;不断撞击墙壁和其他表面并反射到我们的眼睛中。但为什么我们看不见图像呢&＃xff1f;答案是这些光线中有太多的光线在太多不同的方向上传播。图像被极大地冲淡了。

要想形成人眼可见的图像&＃xff0c;对射在目标表面上的光线有着极大的限制&＃xff0c;只允许人看到一组特定的光线。这便是针孔相机的成像。托拉尔巴和弗里曼在2012年的最初想法是&＃xff0c;我们的环境中有许多物体和特征&＃xff0c;会自然而然对光线形成限制&＃xff0c;可以生成足以能够令计算机检测到的微弱图像。

针孔相机的孔径越小&＃xff0c;得到的图像越清晰&＃xff0c;因为成像物体上的每个点仅发射具有正确角度的单束光线穿过小孔。托拉尔巴2012年入住的酒店房间窗户太大&＃xff0c;无法产生清晰的图像&＃xff0c;他和弗里曼都知道&＃xff0c;一般来说&＃xff0c;这种偶然发现的天然针孔像机是很少见的。不过他们意识到&＃xff0c;由任何小的遮光物组成的“反针孔”&＃xff08;或者说“针脚”&＃xff09;相机可以在整个区域内成像。

计算机视觉科学家、麻省理工学院教授Bill Freeman&＃xff08;上图&＃xff09;和Antonio Torralba&＃xff08;下图&＃xff09;

除此之外&＃xff0c;弗里曼和他的同事还设计了用于检测和放大细微颜色变化的算法&＃xff0c;例如人体面部的血液流动&＃xff0c;以及微型运动。他们现在可以轻松地将运动微分至百分之一像素级别&＃xff0c;如此细微的运动一般都会被会噪音覆盖掉。

他们的解决方法是&＃xff0c;在数学上将图像转换为正弦波。至关重要的是&＃xff0c;在变换空间中&＃xff0c;信号不会受噪声干扰&＃xff0c;因为正弦波代表多个像素的平均值&＃xff0c;噪声在这些波中传播。因此&＃xff0c;研究人员可以检测从视频序列某一帧到下一帧之间的正弦波位置的变化&＃xff0c;加以放大&＃xff0c;然后将数据转换回来。

研究人员现在开始结合使用这些不同的技巧来获取隐藏的视觉信息。去年10月&＃xff0c;在Freeman当时的研究生Katie Bouman&＃xff08;现供职于哈佛-史密森天体物理中心&＃xff09;等人的研究报告中表明&＃xff0c;以建筑物的角落充当相机&＃xff0c;可以呈现在拐角处的粗糙图像。

通过在角落&＃xff08;1&＃xff09;附近拍摄阴影半影&＃xff0c;可以获得有关角落周围物体的信息&＃xff08;2&＃xff09;。当隐藏图像区域中的物体移动时&＃xff0c;它们向半影投射的光线相对于墙壁扫过不同的角度。这些细微的强度和颜色变化通常是肉眼看不到的&＃xff08;3&＃xff09;&＃xff0c;但可以通过算法来增强。图示为从半影的不同角度投射的光的原始视频显示一个人在移动&＃xff08;4&＃xff09;以及两个人在角落处移动&＃xff08;5&＃xff09;。 

就像针孔和针脚一样&＃xff0c;边缘和角落也限制了光线的通过。使用传统的采集设备&＃xff0c;比如iPhone&＃xff0c;Bouman和公司拍摄了建筑物角落的“半影”&＃xff1a;即阴影区域中被来自角落隐藏区域的一部分光线照亮的区域。比如&＃xff0c;如果穿着一件红色衬衫的人走到那里&＃xff0c;衬衫就会向半影中投射出少量的红光&＃xff0c;当人走路时&＃xff0c;这道红光会扫过半影&＃xff0c;肉眼看不见。经过处理后就很清楚了。

在6月的一项开创性工作中&＃xff0c;弗里曼及其同事重建了一个房间内的“光场”&＃xff1a;一张整个房间内光线强度和方向的图片&＃xff0c;这是由墙壁附近的绿叶植物投下的阴影中重建的。叶子充当了“针脚相机”&＃xff0c;每片叶子阻挡了不同的光线。将每片叶子的阴影与其余部分进行对比&＃xff0c;可以发现其缺失的一组光线&＃xff0c;从而构建隐藏场景的一部分图像。研究人员可以将这些图像拼在一起。

这种“光场”方法比早期的“意外相机”生成的图像更加清晰&＃xff0c;因为在算法中已经输入了关于外部世界的先验知识&＃xff1a;包括室内植物的形状&＃xff0c;自然图像趋于平滑的假设&＃xff0c;以及让研究人员对噪声信号进行推断的其他先验知识&＃xff0c;这有助于对所得到的图像进行锐化。光场技术“需要对环境周围了解得很充分才能进行图像重建&＃xff0c;但可以提供大量信息&＃xff0c;”托拉尔巴说。

利用散射光构建隐藏目标的三维几何结构

虽然弗里曼和托拉尔巴等人在麻省理工学院校园内的其他地方发现了一直存在的“不可见图像”&＃xff0c;不过&＃xff0c;一位旨在“改变世界”的TED计算机视觉科学家Ramesh Raskar采用了一种名为“主动成像”的方法&＃xff1a;使用昂贵的专业相机激光系统来创建角落附近的高分辨率图像。

麻省理工学院计算机视觉科学家拉梅什·拉斯卡尔&＃xff08;Ramesh Raskar&＃xff09;开创了一种主动非视距成像技术。

2012年&＃xff0c;拉斯卡尔团队开创了一项技术&＃xff0c;朝墙壁上发射激光脉冲&＃xff0c;让一小部分散射光在屏障周围反射。在每次发射脉冲后的瞬间&＃xff0c;使用“条纹相机”&＃xff0c;以每秒数十亿帧的速度记录单个光子的传播路径&＃xff0c;从而检测出从墙壁反弹回来的光子。通过测量返回光子的飞行时间&＃xff0c;得出光子的行进距离&＃xff0c;从而重建了隐藏目标的详细的三维几何结构。一个比较复杂的问题是&＃xff0c;必须使用激光对墙壁进行光栅扫描以形成三维图像。比如&＃xff0c;角落里有一个隐藏的人。

“那么&＃xff0c;头部特定点的光线&＃xff0c;肩膀上的特定点以及膝盖上的特定点都可能在相同的时间到达相机&＃xff0c;”拉斯卡尔说。 “但如果我将激光发射到稍微不同的位置&＃xff0c;那么来自上述三个点的光将不会在相同的时间返回。”你必须将所有信号组合起来&＃xff0c;解决所谓的“逆问题”&＃xff0c;以重建隐藏的三维几何结构。

Raskar解决逆问题的原始算法计算量很大&＃xff0c;他的设备耗资50万美元。但在简化数学模型和削减成本方面取得了重大进展。

拉斯卡尔团队的实验设置

在主动的非视距成像中&＃xff0c;激光从墙壁反射出去&＃xff0c;从隐藏的物体上发生散射&＃xff0c;然后返回原来的发射位置。反射光可用于对物体进行三维结构重建

过去的算法往往会因程序上的细节而陷入困境&＃xff1a;研究人员通常选择检测返回墙上不同位置的光子&＃xff0c;而不是激光发射的位置&＃xff0c;这样相机就可以避开激光的反向散射光。但是&＃xff0c;通过将激光和相机指向几乎相同的点&＃xff0c;可以使出射和入射的光子映射出相同的“光锥”。

每当光从表面散射时&＃xff0c;它就会形成一个扩展的光子球体&＃xff0c;这个球体的痕迹随着时间的推移&＃xff0c;显现出锥形。 斯坦福大学的O&＃39;Toole等人将阿尔伯特·爱因斯坦的老师赫尔曼·明科夫斯基&＃xff08;Hermann Minkowski&＃xff09;在20世纪初提出的光锥物理学理论转换成为关于光子飞行时间与散射表面位置的简明表达。他将这种转换称为“光锥变换”。

自动驾驶汽车已经开始使用直接成像的激光雷达系统&＃xff0c;可以想象&＃xff0c;它们有一天也可能配备“隐藏相机”来观察角落。Raskar在2012年那篇开创性论文的第一作者Andreas Velten预测&＃xff1a; “在不久的将来&＃xff0c;这些激光-SPAD传感器将能够出现手持设备上。”现在的任务是“在更复杂的场景下”和现实场景下实现这个功能&＃xff0c;Velten说&＃xff0c;“而不是必须非常小心地设置一个白色物体和周围黑色的背景&＃xff0c;我们的目标是一台傻瓜相机。”

未来方向&＃xff1a;可用于军事、天文和医疗行业的成像

有朝一日&＃xff0c;非视距成像可以帮助救援队&＃xff0c;消防员和自动机器人。 Velten正在与NASA的喷气推进实验室合作&＃xff0c;开展一项旨在对月球洞穴内部进行远程成像的项目。与此同时&＃xff0c;Raskar和公司已经使用他们的方法阅读了合上的书籍的前几页&＃xff0c;并透过雾看到实现短距离透视。

除了音频文件的重建&＃xff0c;弗里曼的放大算法还可能会在医疗业、安全设备、或检测微小运动的天文学研究中派上用场。该算法“是一个非常好的想法&＃xff0c;”纽约大学和Flatiron研究所的天文学家和数据科学家大卫·霍格说。 “我认为有必要在天文学中利用这一技术。”

当被问及应用这一技术带来的隐私问题时&＃xff0c;弗里曼表示&＃xff1a; “这的确是个问题&＃xff0c;在我的职业生涯中&＃xff0c;我对此考虑了很多很多&＃xff0c;”他说。弗里曼是一名摄影师&＃xff0c;戴着眼镜&＃xff0c;从小就开始拍摄照片&＃xff0c;他说&＃xff0c;自己刚开始做摄影师时&＃xff0c;并不想从事任何和军事或间谍应用有关的事情。但随着时间的推移&＃xff0c;他开始认为“技术是一种工具。可以以多种不同方式加以利用。如果你总是去极力避免任何可能具有军事用途的东西&＃xff0c;那么你将永远不会做任何有用的成果。”他表示&＃xff0c;即使用于军事用途&＃xff0c;对这项技术的利用方式也是非常丰富的。

不过&＃xff0c;让他感到兴奋的不是技术上可能性&＃xff0c;而是能够发现隐藏在普通视野之外的现象。 “我认为&＃xff0c;在世界上有很多东西还等着我们去发现。”他说。

原文发布时间为&＃xff1a;2018-09-5

本文作者&＃xff1a;Natalie Wolchover

本文来自云栖社区合作伙伴新智元&＃xff0c;了解相关信息可以关注“AI_era”。

原文链接&＃xff1a;MIT非视线成像“透视相机”&＃xff1a;隔墙观物、影中窥人&＃xff01;