三角测量计算三维坐标的代码_双目三维重建——层次化重建思考

双目三维重建——层次化重建思考

FesianXu 2020.7.22 at ANT FINANCIAL intern

前言

本文是笔者阅读[1]第10章内容的笔记&＃xff0c;本文从宏观的角度阐述了双目三维重建的若干种层次化的方法&＃xff0c;包括投影重建&＃xff0c;仿射重建和相似性重建到最后的欧几里德重建等。本文作为介绍性质的文章&＃xff0c;只提供了这些方法的思路&＃xff0c;并没有太多的细节&＃xff0c;细节将会由之后的博文继续展开。如有谬误&＃xff0c;请联系作者指出&＃xff0c;转载请注明出处。

e-mail: FesianXu&＃64;gmail.com

QQ: 973926198

github: https://github.com/FesianXu

---

注: 在阅读本文之前&＃xff0c;强烈推荐读者先阅读[4]和[5]&＃xff0c; 以了解[几何变换的层次——投影变换&＃xff0c;仿射变换&＃xff0c;度量变换和欧几里德变换的具体区别]和[conic圆锥线和quadric二次曲锥面的定义和应用]&＃xff0c;在本文中将会基于这些前置知识进行讨论。同时作为成像的基础知识&＃xff0c;相机内外参数的知识[6]也是必须了解的。

双目三维重建简介

作为三维重建&＃xff0c;我们希望能够得到被重建物体的结构&＃xff08;也就是三维世界中的点的位置信息&＃xff09;。在双目三维重建中&＃xff0c;正如其“双目”所言&＃xff0c;我们假设有两个摄像机对某个物体进行观测&＃xff0c;得到了多视角对同一个物体描述的图片。通常&＃xff0c;在三维重建任务中&＃xff0c;我们通过一系列的前置算法&＃xff0c;可以得到这些多视角图片之间的对应点关系&＃xff0c;如Fig 1所示&＃xff0c;点

对应点&＃xff08;correspondence&＃xff09;&＃xff0c;通常我们用

Fig 1. 双目多视角图片之间的对应点&＃xff0c;其都是对三维世界中客体点P的投影。

通常来说&＃xff0c;在三维重建任务中&＃xff0c;我们假设对应点对应的三维点

其中的

投影歧义 &＃xff08;projective ambiguity&＃xff09;的现象&＃xff0c;我们将会在下文进行介绍。作为无校准的相机来说&＃xff0c;在不引入任何先验知识进行约束的情况下&＃xff0c;这是双目三维重建能得到的最好结果。在添加了其他对场景的先验知识后&＃xff08;比如平行线约束&＃xff0c;垂直线约束&＃xff0c;摄像机内参数相同假设等&＃xff09;&＃xff0c;投影歧义可以被减少到仿射歧义甚至是相似歧义的程度。

总的来说&＃xff0c;重建过程的三部曲可以分为&＃xff1a;

1. 根据对应点计算得到基础矩阵。
2. 根据基础矩阵计算得到相机矩阵
   。
3. 对于每对对应点
   来说&＃xff0c;通过三角测量法&＃xff0c;计算其在空间上的三维点坐标位置。

注意到本文对这些重建方法的介绍只是一个概念性的方法&＃xff0c;读者需要明晰的是&＃xff0c;不要尝试单纯地实现本文介绍的方法去实现重建&＃xff0c;对于真实场景的图片而言&＃xff0c;重建过程存在着各种噪声&＃xff08;比如对应点对可能不准确&＃xff0c;存在噪声等&＃xff0c;需要鲁棒估计&＃xff09;&＃xff0c;这些具体的方法我们将会在之后的博文介绍。

这里需要单独拎出来提一下的是 三角测量法&＃xff08;Triangulation&＃xff09;&＃xff0c;如Fig 2所示&＃xff0c;在计算得到了相机矩阵

Fig 2. 通过三角测量法去确定三维空间中的点。

重建歧义性

重建过程存在或多或少的歧义性&＃xff0c;为了解决歧义性&＃xff0c;我们需要引入额外的信息。

单纯地从对应点去进行场景&＃xff0c;物体的三维重建必然是有一定的歧义性的&＃xff0c;只是说引入了对场景一定的先验知识后&＃xff0c;这种歧义性会得到缓解。举个例子&＃xff0c;光从成对的对应点对&＃xff08;甚至可能是多个视角的点对&＃xff09;&＃xff0c;都不能计算出场景的绝对位置&＃xff08;指的是地球上的经纬度&＃xff09;和绝对朝向&＃xff0c;这点很容易理解&＃xff0c;例如Fig 3所示&＃xff0c;即便是给定了相机内参数等&＃xff0c;也不可能决定b和c这两个走廊的具体的东西走向&＃xff0c;还是南北走向&＃xff0c;亦或是其经纬度&＃xff0c;这些涉及到地理位置的绝对信息无法光从相机重建得到。

Fig 3. 不引入其他任何知识&＃xff0c;只从相机得到的照片&＃xff0c;无法判断场景的绝对地理信息。

一般来说&＃xff0c;基于相机的重建&＃xff0c;我们称它最好的情况下&＃xff0c;对于世界坐标系来说&＃xff0c;都只能是欧几里德变换&＃xff08;包括这旋转和偏移&＃xff09;。当然&＃xff0c;如果我们的相机没有标定&＃xff0c;也就是内参数未知&＃xff0c;就Fig 3的走廊为例子&＃xff0c;我们无法确定走廊的宽度和长度&＃xff0c;它可能是3米&＃xff0c;也可能只是一个玩具走廊&＃xff0c;只有30厘米&＃xff0c;这些都有可能。在不引入对场景尺度的任何先验而且相机没有标定的情况下&＃xff0c;我们称基于相片的场景重建只能最好到相似性变换&＃xff08;也就是是存在旋转&＃xff0c;偏移和尺度缩放&＃xff09;。

如果用数学形式去解释这个现象&＃xff0c;用

其中的

通常来说&＃xff0c;在不引入其他先验的情况下&＃xff0c;我们会发现&＃xff0c;在重建过程中&＃xff0c;算法只会保证图像上的投影点的位置是投影正确的&＃xff0c;没法保证三维空间的其他信息了。

相似歧义性

更进一步&＃xff0c;我们对相机参数进行分解&＃xff0c;有

一般情况下&＃xff0c;我们不是很关心偏移

相似性重建 (Similarity reconstruction, metric reconstruction)。 如Fig 4的图a所示&＃xff0c;这就是相似性歧义的示意图&＃xff0c;我们无法确定场景的绝对大小。

Fig 4. 重建的相似性歧义性和投影歧义性

如果两个相机的内参数中的焦距都是已知的&＃xff0c;那么这个重建最好能到 相似性重建 (similarity reconstruction) 的程度&＃xff0c;其重建过程引入的是 相似歧义性 (similarity ambiguity)。也就是说&＃xff0c;重建出来的场景只会在尺度大小上和真实场景的有差别。

投影歧义性

如果我们对内参数一无所知&＃xff0c;也不知道相机之间的相对位置关系&＃xff0c;那么整个场景的重建将会陷入 投影歧义性 (projective ambiguity)&＃xff0c;如Fig 4的图b所示。同样我们可以假设一个不可逆的矩阵

投影重建 (Projective reconstruction)&＃xff0c;投影重建和相似重建的不同之处在于&＃xff0c;相似重建因为相机内参数已经知道&＃xff0c;因此相机焦点位置是确定的&＃xff0c;而投影重建因为没有校准机参数&＃xff0c;因此焦点位置可能会变化&＃xff0c;Fig 4示意图就明确了这一点。

仿射歧义性

如果两个相机只是存在位置偏移上的变化&＃xff0c;而内参数完全相同&＃xff08;可以视为是同一个相机的在不同位置拍摄的相片&＃xff09;&＃xff0c;那么重建过程是最好能达到 仿射重建 &＃xff08;affine reconstruction&＃xff09;的程度&＃xff0c;相对应的&＃xff0c;这个重建过程会引入 仿射歧义性 &＃xff08;affine ambiguity&＃xff09;。举个例子&＃xff0c;假如我们知道不同相机之间的焦距都是一样的&＃xff08;焦距是内参数的一部分&＃xff09;&＃xff0c;因此整个场景可能存在旋转&＃xff0c;偏移和尺度放缩或者切变&＃xff08;Shear&＃xff09;[7]。但是不会存在如同Fig 4所示的投影歧义的那么严重的歧义性。

度量重建和欧几里德重建

一般来说&＃xff0c;我们同样可以用 度量重建 (metric reconstruction) 去表述相似性重建&＃xff0c;因为相似性重建过程中的某些量 比如 线与线的角度&＃xff0c;线段比例等度量在重建场景和真实场景中应该是一致的。另外&＃xff0c;当我们说到 欧几里德重建 (Euclidean reconstruction) 的时候&＃xff0c;一般我们也是把它当做度量重建或者是相似性重建的别称&＃xff0c;因为没有其他额外的知识&＃xff0c;比如场景的世界坐标上的朝向&＃xff0c;景深甚至是世界坐标经纬度等&＃xff0c;我们是无法真正地实现欧几里德重建的&＃xff0c;而这些额外知识已经脱离了基于相机的重建了。

理想点&＃xff0c;无限远平面和IAC

我们曾经在博文[4,7]中提到过理想点&＃xff08;Ideal point&＃xff09;&＃xff0c;无限远平面&＃xff08;The plane at infinity&＃xff09;和IAC &＃xff08;Image of Absolute Conic&＃xff09;[8]。这些几何元素是用于描述投影空间中的一些性质&＃xff0c;包括变换前后的不变性。这里进行知识回顾并且进一步的介绍。

简单来说&＃xff0c;在投影变换过程中&＃xff0c;平行线的平行性质将得不到保留&＃xff0c;因此可能存在 透视 (perspective) 现象&＃xff0c;具体体现出来如同Fig 5所示。这里的平行线交汇的无限远处的消失点我们称之为 理想点&＃xff0c; 由所有理想点所组成的平面称之为 无限远平面 &＃xff0c;我们用符号

Fig 5. 本来应该是平行的马路&＃xff0c;在相机成像的时候&＃xff0c;则变成了“不平行”&＃xff0c;汇聚于无限远处的消失点(vanishing point)。

在谈到绝对圆锥曲线 (Absolute Conic, AC) 和 绝对圆锥曲线的投影 (Image of Absolute Conic, IAC) 之前&＃xff0c;我们可以举个日常生活中的例子&＃xff0c;我们都知道月亮离我们很远&＃xff0c;可以视为是在无限远处的一个圆形&＃xff08;圆锥曲线的一种特例&＃xff09;&＃xff0c;想象你开车行驶在一条笔直的道路上&＃xff0c;右侧空中高悬着圆月&＃xff0c;你会发现不管你怎么疾驰&＃xff0c;月亮仿佛都跟随着你&＃xff0c;而且位置不变&＃xff0c;大小也不变。

这个浪漫的“月亮跟着我”的例子&＃xff0c;正是欧几里德变换对于处在无限远处平面上的绝对圆锥线的影响。 绝对圆锥曲线AC 是指的处在无限远平面上的圆锥曲线&＃xff08;圆锥曲面&＃xff09;&＃xff0c;而 绝对圆锥曲线的投影IAC 指的是绝对圆锥曲线在成像平面上的投影&＃xff0c;如Fig 6所示&＃xff0c;通常我们用

欧几里德变换不影响IAC的形状大小 。

Fig 6. 在无限远平面上的AC和在成像平面上的IAC。

我们为什么要在这里讨论这些概念呢&＃xff1f;原因在于&＃xff0c;不管是几何变换也好&＃xff0c;三维重建也好&＃xff0c;都会涉及到“变”与“不变”的量&＃xff0c;当需要对某些变化的量约束到不变的量时&＃xff0c;我们需要添加条件&＃xff0c;比如固定住无限远平面的位置&＃xff0c;固定AC的形状大小等&＃xff0c;从而可以减少歧义性&＃xff0c;实现更精确的三维重建。

层次化三维重建

通过在投影重建的基础上&＃xff0c;添加一系列的信息&＃xff0c;我们可以分别得到场景的仿射重建&＃xff0c;相似性重建。

我们考虑双目三维重建的层次化过程。首先作为基础的&＃xff0c;假设我们的相机是没有校准的&＃xff0c;我们需要基于对应的两张图像之间的对应点&＃xff0c;求得场景的投影重建后&＃xff0c;再添加若干信息&＃xff0c;可以分别得到场景的仿射重建&＃xff0c;相似性重建。

对于未校准的相机而言&＃xff0c;假设给定了两张图片之间的对应点

需要注意的是&＃xff0c;我们这里提到的对应点对不能在两台相机的焦点连线上&＃xff08;也就是基线&＃xff09;&＃xff0c;这个我们之前也提到过。

Fig 5. 投影重建带来的投影歧义性&＃xff0c;对于单次重建来说&＃xff0c;投影重建的每个可能的场景都是投影一致性的。

仿射重建

从投影重建到仿射重建&＃xff0c;回忆下我们在[4]中曾经讨论的&＃xff1a;

仿射变换不会影响无限远平面的位置

也就是说&＃xff0c;为了消除投影歧义性&＃xff0c;我们需要添加约束 固定 无限远平面的位置。用数学形式化地表达我们整个过程&＃xff0c;假设我们现在已经有了一个对场景的投影重建结果&＃xff0c;包括一个三元组

此时的

仿射重建 。

然而&＃xff0c;正如我们说的&＃xff0c;除非我们添加一些额外的信息&＃xff0c;否则无限远平面

偏移运动

偏移运动 (Translational motion) 指的是我们已知拍摄出来的两张照片来自于同一个相机&＃xff0c;只不过是这两张照片来自于不同的视角下拍摄的&＃xff0c;而且这个视角变化只是由于相机矩阵的

Fig 6. 绿色物体为成像客体&＃xff0c;黄色平面是只存在偏移变化的相机&＃xff0c;而灰色平面则存在着偏移和旋转。

回忆下我们刚才提到的“月亮跟着我”的例子&＃xff0c;对于无限远处的物体来说&＃xff0c;只是存在平移变化&＃xff0c;是不会影响该物体的位置的&＃xff08;因为平移的距离对比他们之间的距离来说&＃xff0c;实在是微不足道&＃xff09;。因此&＃xff0c;相机的平移不会影响两张照片中的处在无限远处平面的点的位置&＃xff0c;让我们用

Fig 7. 纯平移运动不会改变远处&＃xff08;可以视为无限远处&＃xff09;的对极点位置。

虽然这样原理上是可行的&＃xff0c;但是实际上计算过程中存在较大的数值问题&＃xff0c;事实上我们这样计算出的基础矩阵是一个反对称(skew-symmetric)矩阵&＃xff0c;这意味着我们还需要对基础矩阵进行约束。 事实上&＃xff0c;在实际中最常用的约束还是下面谈到的平行线约束。

平行线约束

我们知道仿射变换不改变平行线的平行性&＃xff0c;而投影变换则可能会改变&＃xff0c;那么根据这个知识&＃xff0c;我们可以从场景中寻找三组以上的本应该在实际三维空间中平行&＃xff0c;却因为投影的透视现象在图像中相交的平行线&＃xff0c;将它们的交点视为是无限远处的点&＃xff0c;因此可以确定出无限远处平面

Fig 8. 寻找场景中三组本应该在实际三维空间中平行&＃xff0c;却在图像中因为存在透视而相交的平行线&＃xff0c;它们的交点作为无限远处的点&＃xff0c;可以确定出无限远处平面。

这个过程听起来挺理想&＃xff0c;然而因为存在噪声&＃xff0c;多组不同的平行线在图片中不一定会交于一个点&＃xff0c;这个时候我们需要鲁棒估计进行数值问题上的求解&＃xff0c;我们之后再讨论。

我们如果在认真观察Fig 8我们会发现&＃xff0c;虽然仿射重建保留了平行性&＃xff0c;但是却不保证正交性&＃xff0c;因此图(b)的右下图其实是不能保证的&＃xff0c;我们一般只能得到(b)的左下图&＃xff0c;为了保证场景的正交性&＃xff0c;我们要到度量重建中才会考虑。

线段比例

我们知道仿射变换是不会改变变换前后线段之间的比例&＃xff0c;见[4]中的具体描述。这为我们计算无限远处的消失点(vanishing point)又提供了一种思路&＃xff1a;我们可以通过引入真实三维世界中某个直线上的线段比例长度去确定消失点的位置&＃xff0c;如Fig 9和Fig 10所示。具体的计算过程我们之后的博文进行介绍。

Fig 9. 根据实际世界中的线段比例去计算消失点位置。

Fig 10. 通过引入线段比例的先验知识&＃xff0c;从而将投影歧义性消除。

无限单应性矩阵

一旦无限远处平面被确定下来&＃xff0c;我们就确定了仿射重建&＃xff0c;随后我们就有一个被称之为“无限单应性矩阵”&＃xff08;The infinite homography&＃xff09;的特殊矩阵。这个矩阵负责把两个相机的图像中的无限远处的消失点进行映射&＃xff0c;是一个2D的单应性矩阵。假设相机

假设我们知道两个相机矩阵

他们是符合仿射重建的相机矩阵&＃xff0c;那么我们有无限单应性矩阵

也即是说&＃xff0c;通过寻找两个图片的对应的消失点对&＃xff0c;我们可以计算得到无限单应性矩阵

此时

其中一个相机是仿射相机

假设我们确定两个相机之中的其中一个是仿射相机[10]&＃xff0c;当然&＃xff0c;仿射相机只是对投影相机的一种近似&＃xff0c;其近似的基本假设就是被拍摄物体的表面纹理深度对于拍摄的距离来说可以忽略不计&＃xff0c;也就是[11]中所说的弱深度纹理&＃xff0c;low-relief。我们知道仿射相机进行的是仿射变换&＃xff0c;因此不会移动无限远处平面的位置&＃xff0c;而且我们知道仿射相机的主平面(principle plane)就是无限远处平面&＃xff0c;并且它就可以用相机矩阵的第三行向量表示。那么假设最简单的情况&＃xff0c;我们把这个仿射相机的相机矩阵

1. 同时简单地交换两个相机矩阵的最后两列&＃xff1b;
2. 同时交换每个三维客体点
   的最后两个坐标即可。

相似性重建/度量重建

我们知道在仿射变换中&＃xff0c;变换前后无限远处平面的位置不变&＃xff1b;我们也知道在相似性变换/度量变换中&＃xff0c;变换前后位于无限远处平面上的绝对圆锥曲线AC的位置不变。基于此&＃xff0c;我们从仿射重建中消除仿射歧义性&＃xff0c;将结果提升到度量重建的依据就在于&＃xff0c;如何固定绝对圆锥线AC的位置。 与此同时&＃xff0c;因为绝对圆锥线

回忆下我们在博文[5]中&＃xff0c;曾经讨论过圆锥曲线和二次圆锥面的数学表达式&＃xff0c;简单来说&＃xff0c;我们知道&＃xff0c;描述一个圆锥线可以表达为:

其中曲线上的点为

在实践当中&＃xff0c;最简单的方法是考虑其中一幅图像中的IAC。IAC是AC在图像上的成像投影&＃xff0c;因此是一个圆锥曲线。根据焦点的位置对IAC进行反向投影&＃xff0c;就形成了一个圆锥&＃xff0c;如Fig 6所示&＃xff0c;这个圆锥交于无限远处平面&＃xff0c;就形成了AC。我们需要注意的是&＃xff0c;IAC是图像本身的一个性质&＃xff0c;就像图像中的点&＃xff0c;线条一样&＃xff0c;不取决于某个特定的重建&＃xff0c;因此其对于重建中的变换来说是不变的。

假设已知了仿射重建&＃xff0c;其中某个相机矩阵为

其中的

由此可知&＃xff0c;为了从仿射重建中升级得到度量重建&＃xff0c;我们需要得知IAC的表达。为了得到这个表达&＃xff0c;就像在仿射重建中的一样&＃xff0c;我们需要从场景中引入某些约束。

从场景的正交性中得到的约束

假设现在有一对消失点

根据此我们可以计算出IAC的表达。

从内参数标定中得到约束

假设我们知道了相机内参数并且假设内参数矩阵为

如果有

如果有

---

Reference

[1]. Hartley R, Zisserman A. Multiple view geometry in computer vision[M]. Cambridge university press, 2003. Chapter 10

[2]. https://blog.csdn.net/LoseInVain/article/details/102665911

[3]. https://blog.csdn.net/LoseInVain/article/details/102775734

[4]. https://blog.csdn.net/LoseInVain/article/details/104533575

[5]. https://blog.csdn.net/LoseInVain/article/details/104515839

[6]. https://blog.csdn.net/LoseInVain/article/details/102632940

[7]. https://blog.csdn.net/LoseInVain/article/details/102756630

[8]. http://www.cs.unc.edu/~marc/tutorial/node87.html

[9]. https://blog.csdn.net/richardzjut/article/details/10473051

[10]. https://blog.csdn.net/LoseInVain/article/details/102883243

[11]. https://blog.csdn.net/LoseInVain/article/details/102739778