MaskRCNN论文理解

Instance Segmentation

在RCNN有效性的驱动下，许多实例分割的方法都基于 segment proposals 。

有一些逐像素的方法，将每个像素分类，然后将同类的像素放到实例里面。

Mask RCNN是 instance-first 策略

Faster RCNN对于每个候选框有两个输出：一个是class label，一个是b-box偏移。而Mask RCNN就是又加上了一个输出：目标掩码。但和前两个不同的是，新加的这一层需要更好的空间排列信息。

Faster RCNN 回顾

分两阶段，第一阶段RPN，生成推荐区域；第二阶段，用RoIPool从每个候选框中提取出特征，然后分类和回归。特征能被两个网络使用，速度更快。

Mask RCNN

阶段组成：

1. 第一阶段是RPN。


2. 第二阶段，和分类与回归并列，对每个RoI输出二进制掩码。

Loss计算

总的损失函数有三部分：$L=L_{cls}+L_{box}+L_{mask}$L=Lcls​+Lbox​+Lmask​

$L_{final}=L({p_i},{t_i})+(L_{cls}+L_{box}+L_{mask})$Lfinal​=L(pi​,ti​)+(Lcls​+Lbox​+Lmask​)

注：其中$L_{box}和L_{mask}$Lbox​和Lmask​都只对positive RoI起作用，$L_{cls}+L_{box}$Lcls​+Lbox​和Fast RCNN中的相同。

$L_{mask}$Lmask​计算细节：

• 使用逐像素的sigmoid，将$L_{mask}$Lmask​定义为平均二进制交叉熵损失。对于与ground-truth类别k相关联的RoI, $L_{mask}$Lmask​只在第k个掩码上定义(只有跟该类相匹配的RoI才参与loss计算)。


• 对$L_{mask}$Lmask​的定义允许网络为每个类生成掩码，而不用在类之间竞争；

用sigmoid生成分数，而不是用softmax选出最大的，这样的话应该是可以很大程度上提高精度，因为可能某些局部的像素特别像另一个类，softmax比较后如果得出不该有的类，那么就会丢失信息，对整体的分割产生不好的影响，而sigmoid这种互不影响的就不会如此。

softmax会产生FCIS的 ROI inside map与ROI outside map的竞争。

• 作者的方法依赖专用的分类分支来预测用于选择输出掩码的类标签，这个操作将掩码和分类预测分开了。

$\$ 

mask分支的输出为$k \times m \times m$k×m×m维度，其中k代表每个类别，每一个类别都是一层$m \times m$m×m掩码，然后通过0.5阈值来二值化，划分每个像素为前景或背景。分类网络分支预测 object 类别标签，识别出label之后，只选择对应该label的$m \times m$m×m维度掩码输出，只使用该label分支的相对熵误差作为误差值进行计算。对每一个像素应用sigmoid，然后取RoI上所有像素的交叉熵的平均值作为$L_{mask}$Lmask​。

这里为什么不先得到分类的结果，再计算mask，这样不就只需要计算一层$m \times m$m×m的mask了吗？

什么样的对应关系？是反卷积对应回去吗？

这里是讲预测一个$m \times m$m×m掩码，不是说mask分支只预测一个$m\times m$m×m，而是说被选择之后，只选择了一个分辨率时$m\times m$m×m的掩码。

• 问题一：量化通过将$x$x轴分成16份进行的:$[x/16]$[x/16]，但是，取整的话会导致某些像素偏差，对不上。如下图；
  
  


• 问题二：RoI将特征图转换成固定大小，比如7 x 7，如果原来是21 x 35，那么就会将对每3 x 5个格子取最大值，然后放到对应的bin中，如果不是整除的话，还是用的取整操作。

这些量化导致RoI和被提取的特征不重合。虽然这些不会影响分类，但是对预测像素级精准的掩码有很大的负面影响。

RoIAlign如何解决上述RoIPool缺点：

引入RoIAlign，移除了RoIPool的量化，正确的将被提取的特征和输入对准。作者推荐的方法：

• 针对问题一：避免任何关于RoI边界或bins的量化，作者使用$x/16$x/16而不用$[x/16]$[x/16]。


• 针对问题二：作者使用双线性插值[22]来计算每个RoI bin中四个定期采样点的输入特征的精确值,然后用平均或最大池化来将结果整合到一起，如下图：

虚线网格代表特征图，方框代表ROI(图中是$2 \times 2$2×2bins)，点是每个bin的采样点。

RoIAlign用线性插值在特征图上从邻近的网格点计算每个采样点的值。

没有进行任何量化操作。

四个采样点的选择方法， 均分为四个小块，每个小块的中心就是采样点。

结果表明，最大的影响因素就是量化与否，而采样位置是否精准、有多少点被采样，影响都不大。

• 卷积主干架构用来做覆盖整个图片的特征提取


• 为了做边界框回归和掩码预测的网络头被分别应用到每个RoI

Backbone命名方法：假定ResNet的深度是50层，如果Faster RCNN用了ResNets从第四阶段的最后一个卷积层提取卷积层，那么就叫做C4，那么这个主干就叫做 ResNet-50-C4。

ResNet和FPN分别结构：



数字，表示分辨率和通道。

箭头要么是卷积，反卷积，要么是全连接，根据前后文判断。

卷积保持维度，反卷积增加维度。卷积都是3 x 3，除了输出卷积是1 x 1，反卷积是2 x 2步长是2，隐藏层用的ReLU。

x4表示有四个连续的卷积。

设置的超参数和那些现存的Fast/Faster RCNN工作差不多，也很鲁棒

Training

正负样本选择：

RoI的和真实框的IoU超过0.5就算正样本，其他都是负样本。

掩码对象：

RoI和与他相关的真实框的交集。

作者采用图像中心训练方法[12]。每个最小的batch有两个图片，一个图片取N个RoI，正负样本比例1:3。

在C4中N是64；在FPN中N是512。

FCN

FCN可以接收任意尺寸的输入图像，采用反卷积层对最后一个卷积层的feature map 进行上采样，使它恢复到输入图像相同尺寸，从而可以对每个像素都产生了一个预测，同时保留了原始输入图像的中的空间信息，最后在上采样的特征图上进行逐像素分类。

最后逐个像素计算softmax分类的损失函数，相当于每个像素对应一个训练样本：



卷积、池化、卷积、池化、卷积、池化、反卷积、反卷积、反卷积、

CN将传统CNN中的全连接层转化成卷积层，对应CNN网络FCN把最后三层全连接层转换成为三层卷积层。在传统的CNN结构中，前5层是卷积层，第6层和第7层分别是一个长度为4096的一维向量，第8层是长度为1000的一维向量，分别对应1000个不同类别的概率。FCN将这3层表示为卷积层，卷积核的大小 (通道数，宽，高) 分别为 (4096,1,1)、(4096,1,1)、(1000,1,1)。看上去数字上并没有什么差别，但是卷积跟全连接是不一样的概念和计算过程，使用的是之前CNN已经训练好的权值和偏置，但是不一样的在于权值和偏置是有自己的范围，属于自己的一个卷积核。因此FCN网络中所有的层都是卷积层，故称为全卷积网络。

CNN是固定resize成统一尺寸，每层的大小都固定。在传统的CNN结构中，前5层是卷积层，第6层和第7层分别是一个长度为4096的一维向量，第8层是长度为1000的一维向量，分别对应1000个类别的概率。FCN将这3层表示为卷积层，卷积核的大小(通道数，宽，高)分别为（4096,1,1）、（4096,1,1）、（1000,1,1）。所有的层都是卷积层，故称为全卷积网络。

经过5次卷积(和pooling)以后，图像的分辨率依次缩小了2，4，8，16，32倍(heatMap)。对于最后一层的输出图像，需要进行32倍的上采样，以得到原图一样的大小。

FCN是按照比例来的(第一个应该是H/2而不是H/4)，最后的H/32 x W/32的就是我们要得到的最高维特征图，然后队这个图进行上采样工作，将图片还原到原来的图像大小(HxW)(1000张)，但是这样的操作还原的图片仅仅是conv5中的卷积核中的特征，限于精度问题不能够很好地还原图像当中的特征，因此在这里向前迭代。把conv4中的卷积核对上一次upsampling之后的图进行反卷积补充细节（相当于一个差值过程），最后把conv3中的卷积核对刚才upsampling之后的图像进行再次反卷积补充细节，最后就完成了整个图像的还原。

然后逐个求1000张图像中，某个像素的最大分类概率，把这个概率的类作为这个像素的类。

缺点：

• 结果不够精细，上采样结果还是比较模糊和平滑的，对图像的细节不敏感


• 没有考虑像素之间的关系

Deconvolution

卷积层的前向传播过程就是反卷积层的反向传播过程，卷积层的反向传播过程就是反卷积层的前向传播过程

Upsampling

线性插值

1. 单线性插值
   
   已知数据 (x0, y0) 与 (x1, y1)，要计算 [x0, x1] 区间内某一位置 x 在直线上的y值。
   
   
   
   


2. 双线性插值
   
   在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。
   
   
   
   假如我们想得到未知函数 f 在点 P = (x, y) 的值，假设我们已知函数 f 在 Q11 = (x1, y1)、Q12 = (x1, y2), Q21 = (x2, y1) 以及 Q22 = (x2, y2) 四个点的值。最常见的情况，f就是一个像素点的像素值。
   
   

$$ 

RoIAlign中没有对坐标进行取整操作，而非整数的坐标是无法在图像这种离散数据上使用的。双线性插值通过寻找距离这个对应坐标最近的四个像素点，来计算该点的值（灰度值或者RGB值）。如果你的对应坐标是（2.5,4.5），那么最近的四个像素是（2，4）、（2，5）、（3，4），（3，5）。

若图像为灰度图像，那么$（i，j）$（i，j）点的灰度值可以通过一下公式计算：

$f(i,j)=w_1*p_1+w_2*p_2+w_3*p_3+w_4*p_4$f(i,j)=w1​∗p1​+w2​∗p2​+w3​∗p3​+w4​∗p4​;

其中，$p_i(i=1,2,3,4)$pi​(i=1,2,3,4)为最近的四个像素点，$w_i(i=1,2,3,4)$wi​(i=1,2,3,4)为各点相应权值。

关于$k\times m \times m$k×m×m

全卷积网络详解

全卷积网络（FCN）与图像分割

上采样，反卷积，上池化

双线性插值

优秀的地方：

• 相比于Faster RCNN，提出了RoIAlign，更适合处理像素级别的分割问题；还在backbone使用了FPN，能更好处理不同尺度物体的检测。


• 相比于FCNs，提出了预测k个$m\times m$m×m分辨率的掩码，而不是只预测一个$m\times m$m×m分辨率的掩码，更好的提高了精度

一些有疑问的地方，看看代码应该就能解决了 ，等有时间了看一下。