作者主页(文火冰糖的硅基工坊)&＃xff1a;文火冰糖&＃xff08;王文兵&＃xff09;的博客_文火冰糖的硅基工坊_CSDN博客
本文网址&＃xff1a;https://blog.csdn.net/HiWangWenBing/article/details/122348281
目录
第1章 前言&＃xff1a;
第2章 小目标检测常见问题
2.1 大小目标混合的场合
2.2 只有小目标的场合
第3章 小目标检测困难的原因
3.1 模型对小目标总数的支持不够
3.2 小目标漏检率太高
3.3 解决问题的基本思路
第4章 小目标检测可能的解决之道&＃xff1a;输入图片
4.1 目标数量超标
4.2 目标像素太少
第5章 小目标检测可能的解决之道&＃xff1a;预测模型
5.1 针对目标数量超标的问题
5.2 针对目标像素太少的问题&＃xff1a;统一模型
5.3 针对目标像素太少的问题&＃xff1a;分离模型
第1章 前言&＃xff1a;
在实际应用中&＃xff0c;有时候&＃xff0c;在一张图片中有大目标&＃xff0c;也有小目标&＃xff0c;且小目标的数量可能远远大于大目标的数量&＃xff0c;同一个模型要检测大目标和小目标时&＃xff0c;对小目标的检测效果往往不尽如人意。
本文就是探讨小目标检测的问题以及可能的解决办法。
第2章 小目标检测常见问题
2.1 大小目标混合的场合
在这种场合中&＃xff0c;一张图片上有少数的大目标&＃xff0c;有小目标。
常见的问题有&＃xff1a;
&＃xff08;1&＃xff09;能够准确地检测到大目标&＃xff0c;但检测不到小目标
&＃xff08;2&＃xff09;小目标的recall 率很低&＃xff0c;大量的小目标检测不到&＃xff0c;被遗漏
&＃xff08;3&＃xff09;小目标的数量太多&＃xff0c;模型对小目标总是的支持不够
2.2 只有小目标的场合
在这种场合中&＃xff0c;一张图片上全是小目标。
&＃xff08;1&＃xff09;小目标的recall 率很低&＃xff0c;大量的小目标检测不到&＃xff0c;被遗漏
&＃xff08;2&＃xff09;小目标的数量太多&＃xff0c;模型对小目标总数的支持不够
第3章 小目标检测困难的原因
在找到或提供解决办法之前&＃xff0c;首先弄清楚不同问题原因。
3.1 模型对小目标总数的支持不够
这种情况来自两个主要方面的原因&＃xff1a;
&＃xff08;1&＃xff09;图片本身&＃xff1a;单张图片的目标太多
有时候&＃xff0c;单张图片中小目标的数量太多&＃xff0c;比如细胞的图片&＃xff0c;一张图片中&＃xff0c;包含了上百万个细胞&＃xff0c;这就不是模型本身的问题了&＃xff0c;而是图片的问题。
&＃xff08;2&＃xff09;模型本身&＃xff1a;模型设计的限制
模型对单张图片支持的目标的数量受限于模型本身的设计&＃xff0c;如果图片中目标的数量超出了模型支持的最大数量&＃xff0c;自然会出现模型对小目标总数支持不够的问题。
3.2 小目标漏检率太高
这种情况&＃xff0c;单张图片中小目标的数量完全满足模型设计的要求&＃xff0c;这时候&＃xff0c;依然会出现大量小目标检测不到的情况。这里也分为两种原因&＃xff1a;
&＃xff08;1&＃xff09;图片本身
小目标包含的像素少&＃xff0c;比如&＃xff0c;一张尺寸为640 * 640的图片&＃xff0c; 大目标的像素通常大于 100 * 100&＃xff0c;这种情形下。而小目标的像素通常只有10*10个像素点&＃xff0c;甚至更少。
从上图中可以看出&＃xff0c;小目标与大目标在长度和宽度尺寸上相差超过10倍以上&＃xff0c;像素点&＃xff08;面积&＃xff09;相差上百倍。
像素点越少&＃xff0c;目标图片&＃xff0c;经过卷积后的特征就更少了&＃xff0c;那么用于目标检测和分类的特征就更少了。
能够提供的原始信息越少&＃xff0c;则被漏检的可能性就越大。
&＃xff08;2&＃xff09;模型本身
通常情况下&＃xff0c;模型是通过卷积来提取原始图片像素中包含的特征的&＃xff0c;感受野就反应了单个高层特征的信息与原始像素之间的对应关系&＃xff0c;在网络卷积核确定的情况下&＃xff0c;随着网络层数的增加&＃xff0c;单个高层特征反应原始图片像素的范围就越大&＃xff0c;视野就越宽&＃xff0c;高层信息越是能够反应原始图片中物体的宏观轮廓。如下图所示&＃xff1a;
然后&＃xff0c;随着网络层数的增加和感受野的变大&＃xff0c;微观的信息就会丢失&＃xff0c; 这样对于小目标的信息就会聚合到一个点&＃xff0c;小目标原本包含的像素就少&＃xff0c;随着感受野的增加&＃xff0c;聚合后的特征就更少了&＃xff0c;比如10*10像素的小目标&＃xff0c;经过卷积后的特征可能就只有1*1&＃xff0c;甚至出现多个10*10像素的小目标&＃xff0c;经过多次卷积核&＃xff0c;合并成了一个特征。这样&＃xff0c;小目标就无法识别。
因此&＃xff0c;深层的多次卷积&＃xff0c;对于小目标的微观特征实际上是不利的。
3.3 解决问题的基本思路
综上所述&＃xff0c;要解决小目标检测问题&＃xff0c;需要从两个角度来解决
&＃xff08;1&＃xff09;输入图片
&＃xff08;2&＃xff09;预测模型
第4章 小目标检测可能的解决之道&＃xff1a;输入图片
4.1 目标数量超标
&＃xff08;1&＃xff09;先把图片切分成多张图片&＃xff0c;然后对每张图片单独进行检测&＃xff0c;最后进行汇总
这种方法的难点是&＃xff1a;需要处理好图片与图片之间的切割线上的目标&＃xff0c;因此需要通过一定的重叠区来解决。
4.2 目标像素太少
&＃xff08;1&＃xff09;局部放大
通剪切的方式获取包含小目标的一片图片&＃xff0c;然后对剪切后的图片进行像素增强&＃xff0c;最后对增强后的图片进行目标检测。这种方法优点类似现实生活发现小目标的方法&＃xff1a;先聚焦聚焦&＃xff0c;然后放大&＃xff0c;再进行鉴别。
这种方法的难点是&＃xff1a;如何剪切包含小目标的图片&＃xff0c;依据什么原则来截取大图片的区域。计算机如何知道那片区域包含小目标&＃xff1f;区域的大小、边界如何确定&＃xff1f;
&＃xff08;2&＃xff09;整体增强
- 对整张图片进行数据增强&＃xff0c;甚至增加图片的尺寸
- 通过高倍的照相机获取高分辨率的图片
这种方法的问题是&＃xff1a;连同大目标一并进行了增强&＃xff0c;导致整张图片的像素变得非常大&＃xff0c;而对于大目标而言&＃xff0c;这种增强是没有意义的&＃xff0c;导致预测的时间变长。
在高分辨率的情况下&＃xff0c;小目标也具备清晰的特征和较多的像素。
&＃xff08;3&＃xff09;增加没有目标的背景图片
通过明确的告诉网络&＃xff0c;什么是没有目标的背景&＃xff0c;什么是目标&＃xff0c;这样通过背景与目标的反差&＃xff0c;就能够区分出图片中微小的物体。
这种地面上没叶子的图片就可以作为背景&＃xff0c;以区分地面与地面上小目标&＃xff1a;叶子。
第5章 小目标检测可能的解决之道&＃xff1a;预测模型
5.1 针对目标数量超标的问题
通过修改或选择支持更多目标的模型&＃xff0c;支持的目标越多&＃xff0c;模型所需要的内存越大。
5.2 针对目标像素太少的问题&＃xff1a;统一模型
这种方式下&＃xff0c;大目标和小目标处于相同的图片上&＃xff0c;采用相同的图片训练同一个模型。
训练出来的模型&＃xff0c;同时识别大目标与小目标。
为了能够更好的识别小目标&＃xff0c;可以采用的方法有&＃xff1a;
&＃xff08;1&＃xff09;降低网络的层数&＃xff1a;避免多个小目标经过多层卷积核混合在一起&＃xff0c;无法区分。
&＃xff08;2&＃xff09;减少卷积核的尺寸&＃xff1a;编码小目标的所有像素卷积成一个特征。
&＃xff08;3&＃xff09;减小步长&＃xff1a;避免跳过部分小目标的像素提取。
总之&＃xff0c;为了迎合小目标的识别&＃xff0c;需要牺牲对大目标的更高层次的抽象。
5.3 针对目标像素太少的问题&＃xff1a;分离模型
针对大目标和小目标&＃xff0c;采用不同的模型和数据集进行训练和预测。
&＃xff08;1&＃xff09;识别大目标时&＃xff1a;
- 不识别小目标&＃xff0c;小目标作为背景
- 尽可能采用大型、深层次网络提取
&＃xff08;2&＃xff09;识别小目标时&＃xff1a;
- 不识别大目标、大目标作为背景
- 尽可能采用小型、浅层次网络提取特征
- 训练图片&＃xff0c;可以是原始图片&＃xff0c;也可以是从原始图片截取的包含小目标的图片。
作者主页(文火冰糖的硅基工坊)&＃xff1a;文火冰糖&＃xff08;王文兵&＃xff09;的博客_文火冰糖的硅基工坊_CSDN博客
本文网址&＃xff1a;https://blog.csdn.net/HiWangWenBing/article/details/122348281
京公网安备 11010802041100号