【深蓝学院】手写VIO第1章第1节

完成了SLAM14讲的学习&＃xff0c;来VIO进行进阶。

Section1. 课程介绍

Section2. VIO概述

为什么把视觉和IMU结合在一起&＃xff1f;
因为这两个sensor是互补的&＃xff0c;视觉测慢的&＃xff0c;IMU测快的&＃xff1b;视觉漂移小&＃xff0c;IMU有漂移。

说VIO要明确是跟什么层次的IMU进行融合&＃xff0c;各种层次的IMU的角速度普遍比较准确&＃xff0c;但便宜的IMU加速度计精度差&＃xff0c;基本上只能看个方向&＃xff0c;贵的好的可以直接通过积分得到位姿。在飞机上用的很好的IMU&＃xff0c;同样的算法在手机上可能就没那么好了。

手机的IMU可能几s就飞了&＃xff0c;汽车级别的IMU可能估计个30s就飞了&＃xff08;在GPS&＃xff0c;Lidar等失效的情况下&＃xff09;

VIO是在工业界用的较多的一种方案&＃xff0c;主要在AR/VR&＃xff0c; Robotic/无人机(drone)&＃xff0c;等&＃xff0c;这些场景Lidar的功耗太高&＃xff0c;不适合使用&＃xff0c;比如VR眼镜&＃xff0c;装个IMU是可以的。

而且在场景中要分清楚到底是基于地图的定位还是基于odometer的定位。基于odometer的定位是只要知道他的相对运动&＃xff0c;而如果需要知道相对于真实物理世界的运动&＃xff0c;则需要建图等&＃xff0c;在地图中定位。

需要指出&＃xff0c;相对运动无论多准都会有累积误差(VIO是估计相对位姿的)&＃xff0c;即使VIO很准还是会飘&＃xff0c;就变成原来15s不能用&＃xff0c;现在30s不能用的东西了。如果是基于地图定位就不用太过纠结odometry&＃xff0c;AR/VR需要快速地知道短时间内物体的运动&＃xff0c;VIO可用&＃xff0c;手机防抖

视觉可以纠正IMU的零偏&＃xff0c;IMU可以为视觉提供尺度信息&＃xff0c;或者在视觉丢失的时候顶上去。

VIO可分为松耦合和紧耦合。

• 松耦合&＃xff1a; IMU和视觉自己算自己的&＃xff0c;通过后处理的方法将两个结果融合&＃xff08;典型融合方法是Kalman滤波&＃xff09;。&＃xff08;因为后处理不会影响前面的结果&＃xff0c;所以二者是相互独立的。&＃xff09;
  

• 紧耦合&＃xff1a;IMU和视觉相互弥补。&＃xff08;视觉可能是一个BA&＃xff0c;IMU是一组运动方程 &＃xff09;课程主要介绍紧耦合。
  

GPS&＃xff0c;RTK受场景约束&＃xff0c;有些场景很好用&＃xff0c;有些场景就不行。

Section 3. 预备知识回顾

默认以$Twi$表示IMU的定位信息&＃xff0c;平移可以直接看作IMU在world中的坐标。

由四元数的叉乘可得&＃xff0c;一个四元数$q$等于自身与




[


0


,


1



]


T




[0, \boldsymbol 1]^T


[0,1]T做叉乘。

四元数求导&＃xff1a;

对cos和sin进行泰勒展开即得四元数的变化量。

两个四元数叉乘就代表把右边的四元数按照左边的旋转转了一下。
参考&＃xff1a;

$\delta \theta$当$△t$趋近于0时即为角速度$\omega$

当使用旋转矩阵表示旋转时&＃xff08;和四元数没有本质上的区别&＃xff09;&＃xff0c;导数可以用泊松公式表示&＃xff1a;

因为





a


∧



b


&＃61;


a


×


b



a ^\wedge b&＃61;a \times b


a∧b&＃61;a×b&＃xff0c;所以也可以写成





ω


×




\boldsymbol \omega_{\times}


ω×​

左乘时






∂


R


p




∂


ϕ




&＃61;


−


(


R


p



)


∧




\frac{\partial Rp}{\partial \phi}&＃61;-(Rp)^\wedge


∂ϕ∂Rp​&＃61;−(Rp)∧&＃xff0c;右乘是




−


R



p


∧




-Rp^\wedge


−Rp∧
导数算出来后&＃xff0c;如果是按照左扰动模型求的&＃xff0c;就左乘更新上去&＃xff0c;右扰动就右乘更新上去。

SO(3)导数&＃xff0c;比如对旋转的导数

本课程习惯使用右乘