DatawhaleCV目标检测task02

学习内容

由于目标检测网络原理的复杂性，在正式的跑训练脚本愉快炼丹前，还有很多枯燥的概念需要学习。
塔们说，这是练死劲儿，不好用，我说这个好用，这叫基本功，炼丹师讲究的就是基本功。
因此在task2中，我们需要学习两块原理性的内容：锚框和目标检测的网络结构设计
分别对应《动手学CV-Pytorch》的3.3和3.4两节：

1. 锚框
2. 模型结构

学习任务

1. 了解锚框的概念及作用
2. 学习锚框的生成代码
3. 学习本教程所介绍的网络结构，包括特征提取模块和输出模块
4. 学习边界框的编解码，并思考其作用
5. 思考anchor是如何在网络中发挥作用的。

学习笔记

1. 设置不同尺度的先验框
   通常，为了覆盖更多可能的情况，在图中的同一个位置，我们会设置几个不同尺度的先验框。这里所说的不同尺度，不单单指大小，还有长宽比，如下面的示意图所示：
   
   可以看到，通过设置不同的尺度的先验框，就有更高的概率出现对于目标物体有良好匹配度的先验框（体现为高IoU）。
2. 先验框与特征图的对应
   除了不同尺度，我们肯定要将先验框铺洒在图片中不同位置上面。
   但是遍历原图每个像素，设置的先验框就太多了，完全没必要。如图所示。一个224&＃215;224的图片，假设每个位置设置3个不同尺寸的先验框，那么就有224x224x3=150528个，但是如果我们不去遍历原图，而是去遍历原图下采样得到的feature map呢？以vgg16的backbone为例，下采样了5次，得到7&＃215;7的feature map，那就只需要得到7x7x3=147个先验,这样的设置大大减少了先验框的数量，同时也能覆盖大多数情况。
   
   因此，我们就将先验框的设置位置与特征图建立一一对应的关系。而且，通过建立这种映射关系，我们可以通过特征图，直接一次性的输出所有先验框的类别信息以及坐标信息，而不是想前面一直描述的那样，每个候选框都去独立的进行一次分类的预测，这样太慢了。
3. 先验框类别信息的确定
   我们铺设了很多的先验框，我们先要给出这些先验框的类别信息，才能让模型学着去预测每个先验框是否对应着一个目标物体。
   这些先验框中有很多是和图片中我们要检测的目标完全没有交集或者有很小的交集，
   我们的做法是，设定一个IoU阈值，例如iou=0.5，与图片中目标的iou<0.5的先验框，这些框我们将其划分为背景，Iou>=0.5的被归到目标先验框，通过这样划分，得到供模型学习的ground truth信息，如图所示:
   
4. 分类头与回归头预测
   对于输出7&＃215;7的feature map上的每个先验框我们想预测：
   1）边界框的一组21类分数，其中包括VOC的20类和一个背景类。
   2）边界框编码后的偏移量
   为了得到我们想预测的类别和偏移量，我们需要在feature map后分别接上两个卷积层：
   1）一个分类预测的卷积层采用3&＃215;3卷积核padding和stride都为1，每个anchor需要分配21个卷积核，每个位置有9个anchor，因此需要21&＃215;9个卷积核。
   2）一个定位预测卷积层，每个位置使用3&＃215;3卷积核padding和stride都为1，每个anchor需要分配4个卷积核，因此需要4&＃215;9个卷积核。
   我们直观的看看这些卷积上的输出，见下图：
   
   这个回归头和分类头的输出分别用蓝色和黄色表示。其feature map的大小7&＃215;7保持不变。我们真正关心的是第三维度通道数，把其具体的展开可以看到如下图所示：
   
   也就是说，最终回归头的输出有36个通道，其中每4个值就对应了一个anchor的编码后偏移量的预测，这样的4个值的预测共有9组，因此通道数是36。
   分类头可以用同样的方式理解，如下图所示: