[YOLO专题27]：YOLOV5小目标检测遇到的问题与常见解决办法

作者主页(文火冰糖的硅基工坊)&＃xff1a;文火冰糖&＃xff08;王文兵&＃xff09;的博客_文火冰糖的硅基工坊_CSDN博客

本文网址&＃xff1a;https://blog.csdn.net/HiWangWenBing/article/details/122348281

目录

第1章 前言&＃xff1a;

第2章 小目标检测常见问题

2.1 大小目标混合的场合

2.2 只有小目标的场合

第3章 小目标检测困难的原因

3.1 模型对小目标总数的支持不够

3.2 小目标漏检率太高

3.3 解决问题的基本思路

第4章 小目标检测可能的解决之道&＃xff1a;输入图片

4.1 目标数量超标

4.2 目标像素太少

第5章 小目标检测可能的解决之道&＃xff1a;预测模型

5.1 针对目标数量超标的问题

5.2 针对目标像素太少的问题&＃xff1a;统一模型

5.3 针对目标像素太少的问题&＃xff1a;分离模型

第1章 前言&＃xff1a;

在实际应用中&＃xff0c;有时候&＃xff0c;在一张图片中有大目标&＃xff0c;也有小目标&＃xff0c;且小目标的数量可能远远大于大目标的数量&＃xff0c;同一个模型要检测大目标和小目标时&＃xff0c;对小目标的检测效果往往不尽如人意。

本文就是探讨小目标检测的问题以及可能的解决办法。

第2章 小目标检测常见问题

2.1 大小目标混合的场合

在这种场合中&＃xff0c;一张图片上有少数的大目标&＃xff0c;有小目标。

常见的问题有&＃xff1a;

&＃xff08;1&＃xff09;能够准确地检测到大目标&＃xff0c;但检测不到小目标

&＃xff08;2&＃xff09;小目标的recall 率很低&＃xff0c;大量的小目标检测不到&＃xff0c;被遗漏

&＃xff08;3&＃xff09;小目标的数量太多&＃xff0c;模型对小目标总是的支持不够

2.2 只有小目标的场合

在这种场合中&＃xff0c;一张图片上全是小目标。

&＃xff08;1&＃xff09;小目标的recall 率很低&＃xff0c;大量的小目标检测不到&＃xff0c;被遗漏

&＃xff08;2&＃xff09;小目标的数量太多&＃xff0c;模型对小目标总数的支持不够

第3章 小目标检测困难的原因

在找到或提供解决办法之前&＃xff0c;首先弄清楚不同问题原因。

3.1 模型对小目标总数的支持不够

这种情况来自两个主要方面的原因&＃xff1a;

&＃xff08;1&＃xff09;图片本身&＃xff1a;单张图片的目标太多

有时候&＃xff0c;单张图片中小目标的数量太多&＃xff0c;比如细胞的图片&＃xff0c;一张图片中&＃xff0c;包含了上百万个细胞&＃xff0c;这就不是模型本身的问题了&＃xff0c;而是图片的问题。

&＃xff08;2&＃xff09;模型本身&＃xff1a;模型设计的限制

模型对单张图片支持的目标的数量受限于模型本身的设计&＃xff0c;如果图片中目标的数量超出了模型支持的最大数量&＃xff0c;自然会出现模型对小目标总数支持不够的问题。

3.2 小目标漏检率太高

这种情况&＃xff0c;单张图片中小目标的数量完全满足模型设计的要求&＃xff0c;这时候&＃xff0c;依然会出现大量小目标检测不到的情况。这里也分为两种原因&＃xff1a;

&＃xff08;1&＃xff09;图片本身

小目标包含的像素少&＃xff0c;比如&＃xff0c;一张尺寸为640 * 640的图片&＃xff0c; 大目标的像素通常大于 100 * 100&＃xff0c;这种情形下。而小目标的像素通常只有10*10个像素点&＃xff0c;甚至更少。

从上图中可以看出&＃xff0c;小目标与大目标在长度和宽度尺寸上相差超过10倍以上&＃xff0c;像素点&＃xff08;面积&＃xff09;相差上百倍。

像素点越少&＃xff0c;目标图片&＃xff0c;经过卷积后的特征就更少了&＃xff0c;那么用于目标检测和分类的特征就更少了。

能够提供的原始信息越少&＃xff0c;则被漏检的可能性就越大。

&＃xff08;2&＃xff09;模型本身

通常情况下&＃xff0c;模型是通过卷积来提取原始图片像素中包含的特征的&＃xff0c;感受野就反应了单个高层特征的信息与原始像素之间的对应关系&＃xff0c;在网络卷积核确定的情况下&＃xff0c;随着网络层数的增加&＃xff0c;单个高层特征反应原始图片像素的范围就越大&＃xff0c;视野就越宽&＃xff0c;高层信息越是能够反应原始图片中物体的宏观轮廓。如下图所示&＃xff1a;

然后&＃xff0c;随着网络层数的增加和感受野的变大&＃xff0c;微观的信息就会丢失&＃xff0c; 这样对于小目标的信息就会聚合到一个点&＃xff0c;小目标原本包含的像素就少&＃xff0c;随着感受野的增加&＃xff0c;聚合后的特征就更少了&＃xff0c;比如10*10像素的小目标&＃xff0c;经过卷积后的特征可能就只有1*1&＃xff0c;甚至出现多个10*10像素的小目标&＃xff0c;经过多次卷积核&＃xff0c;合并成了一个特征。这样&＃xff0c;小目标就无法识别。

因此&＃xff0c;深层的多次卷积&＃xff0c;对于小目标的微观特征实际上是不利的。

3.3 解决问题的基本思路

综上所述&＃xff0c;要解决小目标检测问题&＃xff0c;需要从两个角度来解决

&＃xff08;1&＃xff09;输入图片

&＃xff08;2&＃xff09;预测模型

第4章 小目标检测可能的解决之道&＃xff1a;输入图片

4.1 目标数量超标

&＃xff08;1&＃xff09;先把图片切分成多张图片&＃xff0c;然后对每张图片单独进行检测&＃xff0c;最后进行汇总

这种方法的难点是&＃xff1a;需要处理好图片与图片之间的切割线上的目标&＃xff0c;因此需要通过一定的重叠区来解决。

4.2 目标像素太少

&＃xff08;1&＃xff09;局部放大

通剪切的方式获取包含小目标的一片图片&＃xff0c;然后对剪切后的图片进行像素增强&＃xff0c;最后对增强后的图片进行目标检测。这种方法优点类似现实生活发现小目标的方法&＃xff1a;先聚焦聚焦&＃xff0c;然后放大&＃xff0c;再进行鉴别。

这种方法的难点是&＃xff1a;如何剪切包含小目标的图片&＃xff0c;依据什么原则来截取大图片的区域。计算机如何知道那片区域包含小目标&＃xff1f;区域的大小、边界如何确定&＃xff1f;

&＃xff08;2&＃xff09;整体增强

• 对整张图片进行数据增强&＃xff0c;甚至增加图片的尺寸
• 通过高倍的照相机获取高分辨率的图片

这种方法的问题是&＃xff1a;连同大目标一并进行了增强&＃xff0c;导致整张图片的像素变得非常大&＃xff0c;而对于大目标而言&＃xff0c;这种增强是没有意义的&＃xff0c;导致预测的时间变长。

 在高分辨率的情况下&＃xff0c;小目标也具备清晰的特征和较多的像素。

&＃xff08;3&＃xff09;增加没有目标的背景图片

通过明确的告诉网络&＃xff0c;什么是没有目标的背景&＃xff0c;什么是目标&＃xff0c;这样通过背景与目标的反差&＃xff0c;就能够区分出图片中微小的物体。

这种地面上没叶子的图片就可以作为背景&＃xff0c;以区分地面与地面上小目标&＃xff1a;叶子。

第5章 小目标检测可能的解决之道&＃xff1a;预测模型

5.1 针对目标数量超标的问题

通过修改或选择支持更多目标的模型&＃xff0c;支持的目标越多&＃xff0c;模型所需要的内存越大。

5.2 针对目标像素太少的问题&＃xff1a;统一模型

这种方式下&＃xff0c;大目标和小目标处于相同的图片上&＃xff0c;采用相同的图片训练同一个模型。

训练出来的模型&＃xff0c;同时识别大目标与小目标。

为了能够更好的识别小目标&＃xff0c;可以采用的方法有&＃xff1a;

&＃xff08;1&＃xff09;降低网络的层数&＃xff1a;避免多个小目标经过多层卷积核混合在一起&＃xff0c;无法区分。

&＃xff08;2&＃xff09;减少卷积核的尺寸&＃xff1a;编码小目标的所有像素卷积成一个特征。

&＃xff08;3&＃xff09;减小步长&＃xff1a;避免跳过部分小目标的像素提取。

总之&＃xff0c;为了迎合小目标的识别&＃xff0c;需要牺牲对大目标的更高层次的抽象。

5.3 针对目标像素太少的问题&＃xff1a;分离模型

针对大目标和小目标&＃xff0c;采用不同的模型和数据集进行训练和预测。

&＃xff08;1&＃xff09;识别大目标时&＃xff1a;

• 不识别小目标&＃xff0c;小目标作为背景
• 尽可能采用大型、深层次网络提取

&＃xff08;2&＃xff09;识别小目标时&＃xff1a;

• 不识别大目标、大目标作为背景
• 尽可能采用小型、浅层次网络提取特征
• 训练图片&＃xff0c;可以是原始图片&＃xff0c;也可以是从原始图片截取的包含小目标的图片。

作者主页(文火冰糖的硅基工坊)&＃xff1a;文火冰糖&＃xff08;王文兵&＃xff09;的博客_文火冰糖的硅基工坊_CSDN博客

本文网址&＃xff1a;https://blog.csdn.net/HiWangWenBing/article/details/122348281