DeepVO:TowardsEndtoEndVisualOdometrywithDeepRecurrentConvolutionalNeuralNetworksSenWa

[1] Wang S , Clark R , Wen H , et al. DeepVO: Towards end-to-end visual odometry with deep Recurrent Convolutional Neural Networks[J]. IEEE, 2017.

针对以往的使用深度学习解决视觉里程计中&＃xff0c;只在帧间预测pose&＃xff0c;没有充分利用连续帧的问题&＃xff0c;本文使用CNN&＃43;RCNN(LSTM)实现了充分利用序列帧的信息&＃xff0c;实现了很好的效果。

整体结构如图所示&＃xff0c;在上方作者给出了传统方法的视觉里程计的流程&＃xff0c;在下方是本文中的流程。可以看出输入是序列图&＃xff0c;通过CNN网络&＃xff0c;再通过RNN网络&＃xff0c;最终预测出pose。而RNN系列可以看出有数据从上帧流向了下一帧&＃xff0c;这也体现了本设计利用了上下文信息。

CNN结构图如下&＃xff1a;

CNN的具体结构如下表所示&＃xff1a;

在输入方面&＃xff1a;
首先是两个RGB图像经过了预处理&＃xff0c;将RGB图像减去训练集中RGB值的均值&＃xff0c;然后将两个连续帧cat在一起&＃xff0c;形成一个6通道的tensor&＃xff0c;然后再输入进CNN网络&＃xff0c;最终是在Conv6输出&＃xff08;后面属于RNN部分了&＃xff09;。

在激活函数上&＃xff1a;
激活函数是除了Conv6外&＃xff0c;每层卷积层后都是ReLU&＃xff0c;所以总共有17层&＃xff08;9个卷积层和8个激活层&＃xff09;。

为什么要有CNN&＃xff1f;
CNN部分的目的是为了产生一个有效的特征&＃xff0c;这个有效特征会被送进后面的RNN进行序列学习&＃xff0c;最终产生pose。
同时作者也解释了为什么输送进入RGB图&＃xff0c;而不是比如光流图或者深度图等其他类型。首先因为使用RGB图像来训练&＃xff0c;使得网络可以学习一种有效的特征表示&＃xff0c;并降低维度。而且学习到的有效特征表示不仅将图像压缩成了紧凑的描述&＃xff0c;也促进了连续的RNN训练过程。

RNN部分使用了LSTM&＃xff0c;其结构图如下&＃xff1a;

这是LSTM单元&＃xff0c;实际上和最传统的LSTM一样的&＃xff0c;可以看看这个理解 LSTM 网络。

实际上从上上上图可以看出&＃xff0c;RNN使用了2个LSTM单元&＃xff0c;并且有1000种隐藏状态。

损失函数定义为gt pose和估计的pose之间的欧氏距离&＃xff1a;
pose&＃61;(pk,φk)pose&＃61;(p_k,φ_k)pose&＃61;(pk​,φk​)

• k&＃xff1a;权重因子&＃xff0c;决定p和φ谁更重要
• φ&＃xff1a;是欧拉角&＃xff0c;不是四元数&＃xff0c;因为四元数收到额外的单位约束&＃xff0c;妨碍优化。而且在实验中发现四元数会降低方向估计的精度。

5.3、测试结果