百度飞桨图像分割课程笔记14：全景分割技术详解——PanopticDeepLab（CVPR2019）

bottom-up&＃xff1a;不需要先做检测

Panoptic-DeepLab: A Simple, Strong, and Fast Baseline for Bottom-Up Panoptic Segmentation

论文链接&＃xff1a;https://arxiv.org/pdf/1911.10194.pdf

Panoptic-DeepLab框架

• 采用双ASPP双解码器结构
• 预测三个输出&＃xff0c;语义分割&＃xff0c;实例中心和实例回归
  

Framework&＃xff1a;

• Encoder&＃xff1a;ImageNet-Pretrained CNN&＃xff08;with dilated Conv&＃xff1a;使得最后两层的尺度保持为1/16&＃xff09;
  

• Separate ASPP and Decoder&＃xff1a;

  • 一个ASPP提取语义多尺度context&＃xff0c;不同的上下文
  • 一个ASPP提取实例多尺度context
    

• 双decoder&＃xff1a;两个ASPP的输出&＃xff0c;分别于backbone两个高分辨率的feature做融合。
  然后上采样&＃xff0c;得到更高分辨率的feature map&＃xff0c;为了后面做密集预测。如果分辨率比较大&＃xff0c;做密集预测结果是比较好的。&＃xff08;比如要得到100×100的mask&＃xff0c;如果是50×50的mask&＃xff0c;只需要上采样2倍&＃xff0c;但是如果是10×10&＃xff0c;就需要上采样10倍&＃xff0c;直觉是&＃xff0c;更少的feature map&＃xff0c;10×10本身的信息量就很好了&＃xff0c;得到更高的feature map是比较困难的&＃xff0c;结果也会比较差。所以先提前得到一个较大的feature map&＃xff09;
  

• Semantic segmentation&＃xff1a;

  • 用5×5卷积和1×1卷积&＃xff0c;得到分割结果&＃xff08;H×W×Num_classes&＃xff09;
    

• Instance segmentation head&＃xff1a;
  

  • predicting instance center point&＃xff1a;实例中心预测&＃xff0c;预测每个点是不是实例中心的概率。
    H×W×128 通过 5×5卷积&＃xff0c;得到H×W×32的&＃xff0c;再通过1×1卷积&＃xff0c;得到H×W×1的feature map&＃xff0c;对于任何点只有一个值&＃xff0c;范围为0-1&＃xff0c;为概率值&＃xff0c;代表该点为实例中心的概率
  • predicting the offsets to its corresponding mass center for every foreground pixel&＃xff1a;实例中心回归。
    有了实例中心&＃xff0c;怎么得到实例。预测每个点到实例中心的偏移量是多少。H×W×128 通过 5×5卷积&＃xff0c;得到H×W×32的&＃xff0c;再通过1×1卷积&＃xff0c;得到2通道的&＃xff08;Δx&＃xff0c;Δy&＃xff09;
    • 训练&＃xff1a;实例中心编码为标准差为8个pixel的二维高斯概率分布&＃xff0c;MSE loss&＃xff1b;&＃xff08;因为如果只用一个点&＃xff0c;很难预测。二维高斯map会更好学习一点&＃xff09;
    • 测试&＃xff1a;前景像素被分配到最近的质心点。
      
      

  预测类别怎么知道&＃xff1f;实例类别由语义分割结果知道。&＃xff08;语义分割结果不知道属于哪个实例&＃xff0c;但是知道实例的类别&＃xff09;
  
  融合语义分割和实例分割&＃xff0c;得到最终的分割结果

关于实例分割和全景分割的paper&＃xff1a;