PointNet++(Stanford,2017.6)

PointNet&＃43;&＃43;(Stanford,2017.6)

Deep Hierarchical Feature Learning on PointSets in a Metric Space

总结&＃xff1a;Pointnet&＃43;&＃43; 是pointnet的增强版本&＃xff0c;可以看作增加了层次结构的pointNet。

把pointnet拿来做blocks级联&＃xff0c;获得更大的感受野&＃xff08;类比CNN&＃xff09;。主要的contributes:

1. 设计了set abstraction &＃xff08;包括Sampling layer、Grouping layer、以及PointNet layer&＃xff09;结构来提取点云特征
2. 应对 raw 点云 的分布不均匀问题&＃xff0c;论文提出了一种自适应的特征提取方式&＃xff0c;根据点云密度调整 底层特征 和 高层特征 的在最终的融合特征中的权重。相比多尺度金字塔结构&＃xff0c;计算量小&＃xff0c;性能近似&＃xff08;略低&＃xff09;

总的来说就是改善了感受野&＃xff0c;并能自适应的提取特征&＃xff0c;最大化的发挥了point net的能力。

Pointnet 介绍

https://blog.csdn.net/weixin_39373480/article/details/88878629

https://www.cnblogs.com/wishchin/p/9199846.html

https://blog.csdn.net/sinat_37011812/article/details/81945050

1.为什么使用点云

点云是目前表示三维数据的最佳形式&＃xff0c;其优点有&＃xff1a;

1. 点云更接近于设备的原始表征&＃xff08;即雷达扫描物体直接产生点云&＃xff09;
2. 点云的表达方式更加简单&＃xff0c;一个物体仅用一个N×D 的矩阵表示

2.PointNet

PointNet&＃xff0c;其本质就是一种网络结构&＃xff0c;按一定的规则输入点云数据&＃xff0c;经过一层层地计算&＃xff0c;得出分类结果或者分割结果。其中比较特殊的地方在于两个转换矩阵&＃xff08;input transform & feature transform&＃xff09;的存在&＃xff0c;根据文中所说&＃xff0c;这两个转换矩阵可以在深度学习过程中保持点云数据的空间不变性。

pointnet当时不论是分割还是分类的结果都超过了当时的体素系列网络&＃xff0c;同时由于参数少等特点&＃xff0c;训练快&＃xff0c;属于轻量级网络。

不仅如此&＃xff0c;论文对PointNet对点云的点的缺失鲁棒性做了实验&＃xff0c;实验证明&＃xff0c;当PointNet缺失了60%左右的点的时候&＃xff0c;其网络的效果都不怎么减少&＃xff1a;

PointNet&＃43;&＃43;

1.PointNet的缺点

PointNet&＃43;&＃43;的提出源于PointNet的缺点——缺失局部特征。PointNet对于场景的分割效果十分一般&＃xff0c;由于其网络直接暴力地将所有的点最大池化为了一个全局特征&＃xff0c;因此局部点与点之间的联系并没有被网络学习到。

2.PointNet&＃43;&＃43;的思路

分层方式处理在度量空间中采样的一组点

1. 通过基础空间的距离度量将这组点分割成重叠的局部区域

2. 提取局部特征来捕获来自小邻域的精细几何结构; 这些局部特征被进一步分组为更大的单元并被处理以产生更高级的特征

3. 重复这个过程直到我们获得整个点集的特征。

2.1 Set Abstraction 提取点云特征 blocks

• Sampling layer&＃xff1a;采样层在输入点云中选择一系列点&＃xff0c;由此定义出局部区域的中心。采样算法使用迭代最远点采样方法 iterative farthest point sampling&＃xff08;FPS&＃xff09;。

  FPS: 先随机选择一个点&＃xff0c;然后再选择离这个点最远的点作为起点&＃xff0c;再继续迭代&＃xff0c;直到选出需要的个数为止

  相比随机采样&＃xff0c;能更完整得通过区域中心点采样到全局点云

• Grouping layer&＃xff1a;目的是要构建局部区域&＃xff0c;进而提取特征。思想就是利用临近点&＃xff0c;并且论文中使用的是neighborhood ball&＃xff0c;而不是K近邻&＃xff0c;是因为可以保证有一个固定的感受野&＃xff0c;主要的指标还是距离distance

• Pointnet layer&＃xff1a;在如何对点云进行局部特征提取的问题上&＃xff0c;利用原有的Pointnet就可以很好的提取点云的特征&＃xff0c;由此在Pointnet&＃43;&＃43;中&＃xff0c;原先的Pointnet网络就成为了Pointnet&＃43;&＃43;网络中的子网络&＃xff0c;层级迭代提取特征。

2.2 点云密度不均匀时的鲁棒特征学习

1.Multi-scale Grouping

简单而有效的方式&＃xff0c;直接对不同密度的点云特征&＃xff08;通过Pointnet提取后的&＃xff09;进行组合&＃xff0c;不同密度的点云是通过对输入点云进行不同概率的dropout得到的,问题是计算量比较大,慢。

2.Multi-resolution Grouping

分两部分&＃xff0c;一部分直接用Pointnet从raw points上提取的特征&＃xff0c;另一部分是对subregion使用 set abstraction得到的特征的集合。第一部分相当于是一个比较底层的部分&＃xff0c;第二部分相当于是一个比较高层的部分&＃xff0c;这里用两部分可以很好的控制局部区域的密度。当局部区域的密度比较小的时候&＃xff0c;说明局部特征没有全局特征可靠&＃xff0c;因此可以增加全局特征的权重。反之也是如此。就相当于权重可以在密度的变化之中可以被学习到。

2.3 分割

分割是逐点的&＃xff0c;所以需要对特征进行上采样。

使用插值的方法再和之前的set abstraction 中的feature 做一个 concatenate

2.4 实验结果

Pointnet&＃43;&＃43;的结构在3D point clouds上取得了state of art的水平&＃xff0c;解决了如何处理采样不均匀的问题&＃xff0c;也考虑了空间中点与点之间的距离度量&＃xff0c;通过层级结构利用局部区域信息学习特征&＃xff0c;网络结构更有效更鲁棒