ORBSLAM3整体结构梳理

作者丨成长中的菜鸟&＃64;知乎

来源丨https://zhuanlan.zhihu.com/p/402301643

编辑丨3D视觉工坊

1、整体框架

1.1 Tracking 模块

处理传感器信息并实时计算当前帧在激活地图中的姿态。同时该模块也决定了是否将当前帧作为关键帧。在视觉-惯性模式下&＃xff0c;通过在优化中加入惯性残差来估计刚体速度和 IMU 偏差。当追踪丢失时&＃xff0c;tracking 线程会尝试在 Atlas 地 图中重定位当前帧。若重定位成功&＃xff0c;恢复追踪&＃xff0c;并在需要的时候切换激活地图。若一段时间后仍未激活成功&＃xff0c;该激活地图会被存储为未激活地图&＃xff0c;并重新初始化一个新的激活地图。

1.2 Local mapping 模块

加入关键帧和地图点到当前激活地图&＃xff0c;删除冗余帧&＃xff0c;并通过对当前帧的附近关键帧操作&＃xff0c;利用视觉 BA 或视觉-惯性 BA 技术来优化地图。此外&＃xff0c;在惯性模式下&＃xff0c;mapping 线程会利用最大后验估计(MAP)技术来初始化和优化 IMU 参数。

1.3 Loop and map merging 模块

每当加入一个新的关键帧&＃xff0c;该线程在激活地图和整个 Atlas 地图中检测公共区域。如果该公共区域属于激活地图&＃xff0c;它就会执行回环校正&＃xff1b;如果该公共区域属 于其他地图&＃xff0c;就会把它们融合为一个地图&＃xff0c;并把这个融合地图作为新的激活地图。在回环校正以后&＃xff0c;一个独立线程就会进行全局 BA&＃xff0c;进一步优化地图&＃xff0c;同时并不影 响实时性能。

1.4 Atlas 模块

一个由一系列离散地图组成的多子图系统。它会维护一个激活地图&＃xff0c;用于tracking 线程对当前帧的定位&＃xff0c;同时 local mapping 线程会利用新的关键帧信 息持续对该地图优化和更新。在 Atlas 中的其它地图被称为未激活地图。该系统基于词袋模型对关键帧信息建立数据库&＃xff0c;用于重定位、闭环检测和地图融合。

2、IMU 和 Camera 数据融合获取位姿数据的过程

IMU 虽然可以测得角速度和加速度&＃xff0c;但这些量都存在明显的漂移&＃xff0c;使得积分 两次得到的位姿数据非常不可靠。但是&＃xff0c;短时间内的快速运动&＃xff0c;IMU 能够提供一 些较好的估计&＃xff0c;这正是相机的弱点。当运动过快时&＃xff0c;相机会出现运动模糊&＃xff0c;或者 两帧之间重叠区域太少以至于无法进行特征匹配&＃xff0c;所以纯视觉 SLAM 非常害怕快 速的运动。而有了 IMU&＃xff0c;即使在相机数据无效的那段时间内&＃xff0c;我们也能保持一个较好的位姿估计&＃xff0c;这是纯视觉 SLAM 无法做到的。相比于 IMU&＃xff0c;相机数据基本不 会有漂移&＃xff0c;所以相机数据可以有效的估计并修正 IMU 读数中的漂移&＃xff0c;使得在慢速运动后的位姿估计依然有效。当图像发生变化时&＃xff0c;本质上我们没法知道是相机自 身发生了运动&＃xff0c;还是外界条件发生了变化&＃xff0c;所以纯视觉 SLAM 难以处理动态的障 碍物。而 IMU 能够感受到自己的运动信息&＃xff0c;从某种程度上减轻动态物体的影响。主要流程如下&＃xff1a;
(1) 利用相机和 IMU 分别进行图像采集和惯性数据采集&＃xff0c;且 IMU 的采集频率大于 相机的采集频率&＃xff1b;

(2) 提取相机获取的每一帧图像的特征点&＃xff0c;然后提取特征点的描述子&＃xff08;ORB-SLAM 采用&＃xff09;&＃xff0c;匹配特征点&＃xff1b;此处&＃xff0c;还可以采用光流追踪的方法&＃xff1b;

(3) 对 IMU 得到的多组 IMU 数据进行预积分&＃xff0c;计算出两帧图像对应的 IMU 位置和 速度&＃xff1b;

(4) IMU 初始化&＃xff08;讲解 ORB-SLAM3 采用的方法&＃xff09;,这一步的目的是获取 IMU 参数较好的初始值&＃xff1a;速度、重力以及 Bias。

1> Vision-Only
采用 ORB-SLAM 经典框架纯视觉初始化流程&＃xff0c;按照关键帧速率 4Hz 持续运行2s&＃xff0c;然后我们可以得到按比例缩放的地图&＃xff0c;包括 10 个关键帧以及上百个地图点&＃xff0c;然后通过 Visual-Only BA 进行优化。

2> Inertial-Only
这一步目的是获得 IMU 参数最优估计。利用前述单目视觉 SLAM 初始化后稳 定运行的数据&＃xff0c;以及这些关键帧之间的 IMU 测量&＃xff0c;包括&＃xff1a;尺度因子、重力方 向、IMU 传感器偏置参数、关键帧的无尺度速度。这些 IMU 测量放在一起构 成状态向量&＃xff0c;构建优化问题求解。一旦惯性优化完成&＃xff0c;帧的姿态、速度以及 3D 地图点就会以估计的尺度进行缩放&＃xff0c;同时旋转以使 z 轴与估计的重力方向对齐。
3> Visual-Inertial

一旦视觉以及 IMU 有了较好的估计后&＃xff0c;进行一个联合优化进一步对这些参数进行精化。

(5) 结合上面得到的惯性残差和视觉残差&＃xff0c;视觉-惯性 SLAM 可以看作是基于关键帧的最小化问题。在后期中&＃xff0c;基于下式进行计算优化。

在 tracking 过程中&＃xff0c;只优化最后两帧的位姿&＃xff0c;同时保持地图点固定。在mapping 过程中&＃xff0c;为了解决全图优化问题&＃xff0c;若图的规模比较大就会比较棘手。ORB-SLAM3 采用了滑动窗口思想&＃xff0c;把关键帧及其地图点的滑动窗口作为优化变量。

3、ORB-SLAM3 的基于特征点的 tracking 模块的优缺点&＃xff0c;改善的机会点或方向

首先&＃xff0c;ORB-SLAM3 视觉前端做法采用特征点提取&＃43;描述子匹配特征点的方式。因为有描述子&＃xff0c;所以对地图的维护很方便&＃xff08;包括重定位、闭环、全局优化&＃xff09;。尤其是对室内环境&＃xff0c;当视觉上共视关系较多的时候&＃xff0c;这种方法能很大程度上提高定 位精度和局部稳定性。但这种方式也有缺点&＃xff0c;每帧图像都要提取特征点数量的描述子&＃xff0c;比较浪费时间。在 tarcking 过程中&＃xff0c;如果运动过快&＃xff08;图像出现模糊&＃xff09;&＃xff0c;比较容易 tracking loss。此外&＃xff0c;纯视觉 ORB-SLAM3 严重依赖特征点的提取与匹配 效果&＃xff0c;在如纹理缺失的环境下运行会无法得到足够多的稳定匹配点对&＃xff0c;此时光束平差法缺乏足够多的输入信息&＃xff0c;无法有效地修正位姿偏差。基于这点&＃xff0c;有很多人 也有不同的方法&＃xff0c;还有一个主流方法是&＃xff0c;特征点提取&＃43;光流跟踪的方式。采用这种方式tracking 要鲁棒一些&＃xff0c;但这种方式不容易构建全局 map&＃xff0c;同时在闭环和重定位阶段也需要另外提取特征点和描述子。同时&＃xff0c;visual-inertial ORB- SLAM3 通过引入 IMU 来约束和修正特征缺失带来的偏差&＃xff0c;得到尺度信息&＃xff0c;在一定程度上解决了过度依赖严重依赖特征点问题。

ORB-SLAM3 引入了 Atlas 系统&＃xff0c;在 tracking 过程中&＃xff0c;如果跟丢了&＃xff0c;可以利用当前帧查询 Atlas DBoW 数据库。这个查询可以利用所有先验信息&＃xff0c;在所有地图 中找相似的关键帧。一旦有了候选关键帧&＃xff0c;地图和匹配的地图点就可以进行重定位&＃xff0c;极大提升性能&＃xff0c;增大鲁棒性。

个人认为&＃xff0c;ORB-SLAM3 此次更新的一大变化就是引入了 Atlas 地图&＃xff0c;相当于 开辟了一条新的方向。当前由于只是第一个版本&＃xff0c;所以在这方面的改进空间还有 很大&＃xff0c;可以在这个方向做一些研究。同时 IMU 相比于 camera&＃xff0c;有很多互补优势&＃xff0c; 如何让 IMU 和 camera 更好的结合&＃xff0c;发挥更好的效果&＃xff0c;也是可以研究改进的点。IMU 初始化也有很多不足&＃xff0c;采用一个更好的方法进行 IMU 初始化&＃xff0c;也是一个可以改进的点。

本文仅做学术分享&＃xff0c;如有侵权&＃xff0c;请联系删文。

下载1

在「3D视觉工坊」公众号后台回复&＃xff1a;3D视觉&＃xff0c;即可下载 3D视觉相关资料干货&＃xff0c;涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

下载2

在「3D视觉工坊」公众号后台回复&＃xff1a;3D视觉github资源汇总&＃xff0c;即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

下载3

在「3D视觉工坊」公众号后台回复&＃xff1a;相机标定&＃xff0c;即可下载独家相机标定学习课件与视频网址&＃xff1b;后台回复&＃xff1a;立体匹配&＃xff0c;即可下载独家立体匹配学习课件与视频网址。

重磅&＃xff01;3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信&＃xff0c;可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群&＃xff0c;旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群&＃xff0c;目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注&＃xff1a;研究方向&＃43;学校/公司&＃43;昵称&＃xff0c;例如&＃xff1a;”3D视觉 &＃43; 上海交大 &＃43; 静静“。请按照格式备注&＃xff0c;可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球&＃xff1a;针对3D视觉领域的视频课程&＃xff08;三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程&＃xff09;、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕&＃xff0c;更有各类大厂的算法工程人员进行技术指导。与此同时&＃xff0c;星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息&＃xff0c;打造成集技术与就业为一体的铁杆粉丝聚集区&＃xff0c;近2000星球成员为创造更好的AI世界共同进步&＃xff0c;知识星球入口&＃xff1a;

学习3D视觉核心技术&＃xff0c;扫描查看介绍&＃xff0c;3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用&＃xff0c;麻烦给个赞和在看~