理解RoIPooling和RoIAlign作用和实现方式

1.RoIPooling

RoIPooling顾名思义对Roi进行Pooling操作&＃xff0c;主要用于目标检测任务。RoI&＃xff08;Region of interest&＃xff09;指的是一张图片中认为有存在目标的区域&＃xff0c;例如下图中的蓝色和红色区域&＃xff0c;这里我们不用去管Roi是如何提取的。他的特性是输入特征图的大小不确定&＃xff0c;输出的特征图的大小固定。

一般使用到RoIPooling的流程为&＃xff1a; 输入图片->多层卷积->得到共享特征图->候选框坐标(相对于输入网络图片的坐标)在共享特征图上做映射->得到候选框区域在共享特征图上对应的区域->在对应的区域上进行max 或者average pooling操作->得到fix feature map&＃xff08;这个fix feature map的size是我们设定好的&＃xff0c;例如7×7&＃xff09;->多层全连接(进行分类或者回归)

对Roi的max pooling操作的kernel size记作A,  即A &＃61; 多层卷积后的feature map的size / fix feature map 的size 

因此这里的A有可能不是整数 &＃xff0c;那么该如何处理呢&＃xff1f;

第一种办法&＃xff1a;对A进行四舍五入&＃xff08;最近邻插值法&＃xff09;&＃xff0c;然后一次从左到右对多层卷积后的feature map进行max pooling操作&＃xff0c;这样做相当与丢弃了feature map右边的一些值。&＃xff08;faster R-CNN中使用的一种方式&＃xff09;

第二种办法&＃xff1a; 不直接丢弃feature map的值&＃xff0c;即改变A的值为多个不同的整数&＃xff0c;使得划分多层卷积后的feature map的区域的个数等于fix feature map size 例如7×7&＃xff0c; 然后对划分的每一个区域取最大值&＃xff0c;即得到fix feauture map&＃xff0c; 这样做相当将池化核&＃xff08;正方形&＃xff09;a×a变成了不同的&＃xff08;长方形&＃xff09;m1×n1&＃xff0c;m2×m2,.... 如何确定这些值&＃xff0c;比较难以处理。

RolPooling的优点&＃xff1a;可以重用多层卷积后的feature map&＃xff0c;加快了训练和测试时间&＃xff0c;可以实现end-to-end训练

2.RoIAlign

RoIAlign针对第一种方法进行改进&＃xff0c;何凯明在Mask RCNN中指出第一种方法会损失空间对称性 &＃xff0c;从而将最近邻插值法替换为双线性插值&＃xff0c;并且命令为RoIAlign。双线性插值法可以参考下面的链接。

参考链接&＃xff1a;RoIPooling &＃xff0c;SPP&＃xff0c;双线性插值