因为工作原因&＃xff0c;项目中经常遇到目标检测的任务&＃xff0c;因此对目标检测算法会经常使用和关注&＃xff0c;比如Yolov3、Yolov4、Yolov5算法。
当然&＃xff0c;实际项目中很多的第一步&＃xff0c;也都是先进行目标检测任务&＃xff0c;比如人脸识别、多目标追踪、REID、客流统计等项目。因此目标检测是计算机视觉项目中非常重要的一部分。
从2018年Yolov3年提出的两年后&＃xff0c;在原作者声名放弃更新Yolo算法后&＃xff0c;俄罗斯的Alexey大神扛起了Yolov4的大旗&＃xff0c;然后不久又出现了Yolov5。
在此&＃xff0c;大白将项目中&＃xff0c;需要了解的Yolov3、Yolov4、Yolov5系列相关知识点以及相关代码进行完整的汇总&＃xff0c;希望和大家共同学习探讨。
同时&＃xff0c;大白每周会整理几十个人工智能公众号的精华文章&＃xff0c;并系统的分类&＃xff0c;让大家对于人工智能行业每周的内容动态可以一目了然&＃xff1a;链接入口
版权申明&＃xff1a;本文包含图片&＃xff0c;都为大白使用PPT所绘制的&＃xff0c;如需网络结构高清图和模型权重&＃xff0c;可点击查看下载。
文章目录
1. 论文汇总2. Yolov3核心基础内容
2.1 网络结构可视化
2.2 网络结构图
2.3 核心基础内容3. Yolov3相关代码
3.1 python代码
3.2 C&＃43;&＃43;代码内容
3.3 python版本的Tensorrt代码
3.4 C&＃43;&＃43;版本的Tensorrt代码4. Yolov4核心基础内容
4.1 网络结构可视化
4.2 网络结构图
4.3 核心基础内容
4.3.1 输入端创新
4.3.2 Backbone创新
4.3.3 Neck创新
4.4.4 Prediction创新5. Yolov4相关代码
5.1 python代码
5.2 C&＃43;&＃43;代码
5.3 python版本的Tensorrt代码
5.4 C&＃43;&＃43;版本的Tensorrt代码6. Yolov5核心基础知识完整讲解7. 相关数据集下载8. 不断更新ing
Yolov3论文名&＃xff1a;《Yolov3: An Incremental Improvement》
Yolov3论文地址&＃xff1a;https://arxiv.org/pdf/1804.02767.pdf
Yolov4论文名&＃xff1a;《Yolov4: Optimal Speed and Accuracy of Object Detection》
Yolov4论文地址&＃xff1a;https://arxiv.org/pdf/2004.10934.pdf
Yolov3是目标检测Yolo系列非常非常经典的算法&＃xff0c;不过很多同学拿到Yolov3或者Yolov4的cfg文件时&＃xff0c;并不知道如何直观的可视化查看网络结构。如果纯粹看cfg里面的内容&＃xff0c;肯定会一脸懵逼。
其实可以很方便的用netron查看Yolov3的网络结构图&＃xff0c;一目了然。
这里不多说&＃xff0c;如果需要安装&＃xff0c;可以移步大白的另一篇文章&＃xff1a;《网络可视化工具netron详细安装流程》。
如果不想安装&＃xff0c;也可以直接点击此链接&＃xff0c;查看Yolov3可视化流程图。
绘制网络结构图受到Yolov3另一位作者文章的启发&＃xff0c;包括下面Yolov4的结构图&＃xff0c;确实&＃xff0c;从总体框架上先了解了Yolov3的流程&＃xff0c;再针对去学习每一小块的知识点&＃xff0c;会事半功倍。
上图三个蓝色方框内表示Yolov3的三个基本组件&＃xff1a;
其他基础操作&＃xff1a;
Backbone中卷积层的数量&＃xff1a;
每个ResX中包含1&＃43;2*X个卷积层&＃xff0c;因此整个主干网络Backbone中一共包含1&＃43;&＃xff08;1&＃43;2*1&＃xff09;&＃43;&＃xff08;1&＃43;2*2&＃xff09;&＃43;&＃xff08;1&＃43;2*8&＃xff09;&＃43;&＃xff08;1&＃43;2*8&＃xff09;&＃43;&＃xff08;1&＃43;2*4&＃xff09;&＃61;52&＃xff0c;再加上一个FC全连接层&＃xff0c;即可以组成一个Darknet53分类网络。不过在目标检测Yolov3中&＃xff0c;去掉FC层&＃xff0c;不过为了方便称呼&＃xff0c;仍然把Yolov3的主干网络叫做Darknet53结构。
Yolov3是2018年发明提出的&＃xff0c;这成为了目标检测one-stage中非常经典的算法&＃xff0c;包含Darknet-53网络结构、anchor锚框、FPN等非常优秀的结构。
本文主要目的在于描述Yolov4和Yolov3算法的不同及创新之处&＃xff0c;对Yolov3的基础不过多描述。
不过大白也正在准备Yolov3算法非常浅显易懂的基础视频课程&＃xff0c;让小白也能简单清楚的了解Yolov3的整个过程及各个算法细节&＃xff0c;制作好后会更新到此处&＃xff0c;便于大家查看。
在准备课程过程中&＃xff0c;大白搜集查看了网络上几乎所有的Yolov3资料&＃xff0c;在此整理几个非常不错的文章及视频&＃xff0c;大家也可以点击查看&＃xff0c;学习相关知识。
&＃xff08;1&＃xff09;视频&＃xff1a;吴恩达目标检测Yolo入门讲解
https://www.bilibili.com/video/BV1N4411J7Y6?from&＃61;search&seid&＃61;18074481568368507115
&＃xff08;2&＃xff09;文章&＃xff1a;Yolo系列之Yolov3【深度解析】
https://blog.csdn.net/leviopku/article/details/82660381
&＃xff08;3&＃xff09;文章&＃xff1a;一文看懂Yolov3
https://blog.csdn.net/litt1e/article/details/88907542
相信大家看完&＃xff0c;对于Yolov3的基础知识点会有一定的了解。
代码地址&＃xff1a;https://github.com/ultralytics/Yolov3
这里推荐Yolov4作者的darknetAB代码&＃xff0c;代码和原始作者代码相比&＃xff0c;进行了很多的优化&＃xff0c;如需要运行Yolov3网络&＃xff0c;加载cfg时&＃xff0c;使用Yolov3.cfg即可
代码地址&＃xff1a;https://github.com/AlexeyAB/darknet
除了算法研究外&＃xff0c;实际项目中还需要将算法落地部署到工程上使用&＃xff0c;比如GPU服务器使用时还需要对模型进行tensorrt加速。
强烈推荐tensort软件中&＃xff0c;自带的Yolov3加速案例&＃xff0c;路径位于tensorrt解压文件夹的TensortX/samples/python/Yolov3_onnx中
针对案例中的代码&＃xff0c;如果有不明白的&＃xff0c;也可参照下方文章上的详细说明&＃xff1a;
代码地址&＃xff1a;https://www.cnblogs.com/shouhuxianjian/p/10550262.html
除了tensorrt软件中的代码&＃xff0c; github上也有其他作者的开源代码
代码地址&＃xff1a;https://github.com/lewes6369/TensorRT-Yolov3
项目的工程部署上&＃xff0c;如果使用C&＃43;&＃43;版本进行Tensorrt加速&＃xff0c;一方面可以参照Alexey的github代码&＃xff0c;另一方面也可以参照下面其他作者的开源代码
代码地址&＃xff1a;https://github.com/wang-xinyu/tensorrtx/tree/master/Yolov3
Yolov4的网络结构也可以使用netron工具查看&＃xff0c;大白也是对照其展示的可视化流程图绘制的下方网络结构图。
netron可视化显示Yolov4网络结构可以参照大白的另一篇文章&＃xff1a;《netron可视化网络结构详细安装流程》
如果不想安装&＃xff0c;也可以直接点击此链接&＃xff0c;查看Yolov4可视化流程图。
Yolov4的结构图和Yolov3相比&＃xff0c;因为多了CSP结构&＃xff0c;PAN结构&＃xff0c;如果单纯看可视化流程图&＃xff0c;会觉得很绕&＃xff0c;不过在绘制出上面的图形后&＃xff0c;会觉得豁然开朗&＃xff0c;其实整体架构和Yolov3是相同的&＃xff0c;不过使用各种新的算法思想对各个子结构都进行了改进。
先整理下Yolov4的五个基本组件&＃xff1a;
其他基础操作&＃xff1a;
Backbone中卷积层的数量&＃xff1a;
和Yolov3一样&＃xff0c;再来数一下Backbone里面的卷积层数量。
每个CSPX中包含5&＃43;2*X个卷积层&＃xff0c;因此整个主干网络Backbone中一共包含1&＃43;&＃xff08;5&＃43;2*1&＃xff09;&＃43;&＃xff08;5&＃43;2*2&＃xff09;&＃43;&＃xff08;5&＃43;2*8&＃xff09;&＃43;&＃xff08;5&＃43;2*8&＃xff09;&＃43;&＃xff08;5&＃43;2*4&＃xff09;&＃61;72。
这里大白有些疑惑&＃xff0c;按照Yolov3设计的传统&＃xff0c;这么多卷积层&＃xff0c;主干网络不应该叫CSPDaeknet73吗&＃xff1f;&＃xff1f;&＃xff1f;&＃xff1f;
Yolov4本质上和Yolov3相差不大&＃xff0c;可能有些人会觉得失望。
但我觉得算法创新分为三种方式&＃xff1a;
Yolov4既有第二种也有第三种创新&＃xff0c;组合尝试了大量深度学习领域最新论文的20多项研究成果&＃xff0c;而且不得不佩服的是作者Alexey在github代码库维护的频繁程度。
目前Yolov4代码的star数量已经1万多&＃xff0c;据我所了解&＃xff0c;目前超过这个数量的&＃xff0c;目标检测领域只有Facebook的Detectron(v1-v2)、和Yolo(v1-v3)官方代码库&＃xff08;已停止更新&＃xff09;。
所以Yolov4中的各种创新方式&＃xff0c;大白觉得还是很值得仔细研究的。
为了便于分析&＃xff0c;将Yolov4的整体结构拆分成四大板块&＃xff1a;
大白主要从以上4个部分对YoloV4的创新之处进行讲解&＃xff0c;让大家一目了然。
总体来说&＃xff0c;Yolov4对Yolov3的各个部分都进行了改进优化&＃xff0c;下面丢上作者的算法对比图。
仅对比Yolov3和Yolov4&＃xff0c;在COCO数据集上&＃xff0c;同样的FPS等于83左右时&＃xff0c;Yolov4的AP是43&＃xff0c;而Yolov3是33&＃xff0c;直接上涨了10个百分点。
不得不服&＃xff0c;当然可能针对具体不同的数据集效果也不一样&＃xff0c;但总体来说&＃xff0c;改进效果是很优秀的&＃xff0c;下面大白对Yolov4的各个创新点继续进行深挖。
考虑到很多同学GPU显卡数量并不是很多&＃xff0c;Yolov4对训练时的输入端进行改进&＃xff0c;使得训练在单张GPU上也能有不错的成绩。比如数据增强Mosaic、cmBN、SAT自对抗训练。
但感觉cmBN和SAT影响并不是很大&＃xff0c;所以这里主要讲解Mosaic数据增强。
Yolov4中使用的Mosaic是参考2019年底提出的CutMix数据增强的方式&＃xff0c;但CutMix只使用了两张图片进行拼接&＃xff0c;而Mosaic数据增强则采用了4张图片&＃xff0c;随机缩放、随机裁剪、随机排布的方式进行拼接。
这里首先要了解为什么要进行Mosaic数据增强呢&＃xff1f;
在平时项目训练时&＃xff0c;小目标的AP一般比中目标和大目标低很多。而Coco数据集中也包含大量的小目标&＃xff0c;但比较麻烦的是小目标的分布并不均匀。
首先看下小、中、大目标的定义&＃xff1a; 2019年发布的论文《Augmentation for small object detection》对此进行了区分&＃xff1a;
可以看到小目标的定义是目标框的长宽0×0~32×32之间的物体。
但在整体的数据集中&＃xff0c;小、中、大目标的占比并不均衡。 如上表所示&＃xff0c;Coco数据集中小目标占比达到41.4%&＃xff0c;数量比中目标和大目标都要多。
但在所有的训练集图片中&＃xff0c;只有52.3%的图片有小目标&＃xff0c;而中目标和大目标的分布相对来说更加均匀一些。
针对这种状况&＃xff0c;Yolov4的作者采用了Mosaic数据增强的方式。
主要有几个优点&＃xff1a;
此外&＃xff0c;发现另一研究者的训练方式也值得借鉴&＃xff0c;采用的数据增强和Mosaic比较类似&＃xff0c;也是使用4张图片&＃xff08;不是随机分布&＃xff09;&＃xff0c;但训练计算loss时&＃xff0c;采用“缺啥补啥”的思路&＃xff1a;
如果上一个iteration中&＃xff0c;小物体产生的loss不足&＃xff08;比如小于某一个阈值&＃xff09;&＃xff0c;则下一个iteration就用拼接图&＃xff1b;否则就用正常图片训练&＃xff0c;也很有意思。
参考链接&＃xff1a;https://www.zhihu.com/question/390191723?rf&＃61;390194081
CSPDarknet53是在Yolov3主干网络Darknet53的基础上&＃xff0c;借鉴2019年CSPNet的经验&＃xff0c;产生的Backbone结构&＃xff0c;其中包含了5个CSP模块。
这里因为CSP模块比较长&＃xff0c;不放到本处&＃xff0c;大家也可以点击Yolov4的netron网络结构图&＃xff0c;对比查看&＃xff0c;一目了然。
每个CSP模块前面的卷积核的大小都是3*3&＃xff0c;stride&＃61;2&＃xff0c;因此可以起到下采样的作用。
因为Backbone有5个CSP模块&＃xff0c;输入图像是608*608&＃xff0c;所以特征图变化的规律是&＃xff1a;608->304->152->76->38->19
经过5次CSP模块后得到19*19大小的特征图。
而且作者只在Backbone中采用了Mish激活函数&＃xff0c;网络后面仍然采用Leaky_relu激活函数。
我们再看看下作者为啥要参考2019年的CSPNet&＃xff0c;采用CSP模块&＃xff1f;
CSPNet论文地址&＃xff1a;https://arxiv.org/pdf/1911.11929.pdf
CSPNet全称是Cross Stage Paritial Network&＃xff0c;主要从网络结构设计的角度解决推理中从计算量很大的问题。
CSPNet的作者认为推理计算过高的问题是由于网络优化中的梯度信息重复导致的。
因此采用CSP模块先将基础层的特征映射划分为两部分&＃xff0c;然后通过跨阶段层次结构将它们合并&＃xff0c;在减少了计算量的同时可以保证准确率。
因此Yolov4在主干网络Backbone采用CSPDarknet53网络结构&＃xff0c;主要有三个方面的优点&＃xff1a;
优点一&＃xff1a;增强CNN的学习能力&＃xff0c;使得在轻量化的同时保持准确性。
优点二&＃xff1a;降低计算瓶颈
优点三&＃xff1a;降低内存成本
Mish激活函数是2019年下半年提出的激活函数
论文地址&＃xff1a;https://arxiv.org/abs/1908.08681
和Leaky_relu激活函数的图形对比如下&＃xff1a;
Yolov4的Backbone中都使用了Mish激活函数&＃xff0c;而后面的网络则还是使用leaky_relu函数。
Yolov4作者实验测试时&＃xff0c;使用CSPDarknet53网络在ImageNet数据集上做图像分类任务&＃xff0c;发现使用了Mish激活函数的TOP-1和TOP-5的精度比没有使用时都略高一些。
因此在设计Yolov4目标检测任务时&＃xff0c;主干网络Backbone还是使用Mish激活函数。
Yolov4中使用的Dropblock&＃xff0c;其实和常见网络中的Dropout功能类似&＃xff0c;也是缓解过拟合的一种正则化方式。
Dropblock在2018年提出&＃xff0c;论文地址&＃xff1a;https://arxiv.org/pdf/1810.12890.pdf
传统的Dropout很简单&＃xff0c;一句话就可以说的清&＃xff1a;随机删除减少神经元的数量&＃xff0c;使网络变得更简单。
而Dropblock和Dropout相似&＃xff0c;比如下图&＃xff1a;
中间Dropout的方式会随机的删减丢弃一些信息&＃xff0c;但Dropblock的研究者认为&＃xff0c;卷积层对于这种随机丢弃并不敏感&＃xff0c;因为卷积层通常是三层连用&＃xff1a;卷积&＃43;激活&＃43;池化层&＃xff0c;池化层本身就是对相邻单元起作用。而且即使随机丢弃&＃xff0c;卷积层仍然可以从相邻的激活单元学习到相同的信息。
因此&＃xff0c;在全连接层上效果很好的Dropout在卷积层上效果并不好。
所以右图Dropblock的研究者则干脆整个局部区域进行删减丢弃。
这种方式其实是借鉴2017年的cutout数据增强的方式&＃xff0c;cutout是将输入图像的部分区域清零&＃xff0c;而Dropblock则是将Cutout应用到每一个特征图。而且并不是用固定的归零比率&＃xff0c;而是在训练时以一个小的比率开始&＃xff0c;随着训练过程线性的增加这个比率。
Dropblock的研究者与Cutout进行对比验证时&＃xff0c;发现有几个特点&＃xff1a;
优点一&＃xff1a;Dropblock的效果优于Cutout
优点二&＃xff1a;Cutout只能作用于输入层&＃xff0c;而Dropblock则是将Cutout应用到网络中的每一个特征图上
优点三&＃xff1a;Dropblock可以定制各种组合&＃xff0c;在训练的不同阶段可以修改删减的概率&＃xff0c;从空间层面和时间层面&＃xff0c;和Cutout相比都有更精细的改进。
Yolov4中直接采用了更优的Dropblock&＃xff0c;对网络的正则化过程进行了全面的升级改进。
在目标检测领域&＃xff0c;为了更好的提取融合特征&＃xff0c;通常在Backbone和输出层&＃xff0c;会插入一些层&＃xff0c;这个部分称为Neck。相当于目标检测网络的颈部&＃xff0c;也是非常关键的。
Yolov4的Neck结构主要采用了SPP模块、FPN&＃43;PAN的方式。
SPP模块&＃xff0c;其实在Yolov3中已经存在了&＃xff0c;在Yolov4的C&＃43;&＃43;代码文件夹中有一个Yolov3_spp版本&＃xff0c;但有的同学估计从来没有使用过&＃xff0c;在Yolov4中&＃xff0c;SPP模块仍然是在Backbone主干网络之后&＃xff1a;
作者在SPP模块中&＃xff0c;使用k&＃61;{1*1,5*5,9*9,13*13}的最大池化的方式&＃xff0c;再将不同尺度的特征图进行Concat操作。
注意&＃xff1a;这里最大池化采用padding操作&＃xff0c;移动的步长为1&＃xff0c;比如13×13的输入特征图&＃xff0c;使用5×5大小的池化核池化&＃xff0c;padding&＃61;2&＃xff0c;因此池化后的特征图仍然是13×13大小。
在2019年提出的《DC-SPP-Yolo》文章&＃xff1a;https://arxiv.org/ftp/arxiv/papers/1903/1903.08589.pdf
也对Yolo目标检测的SPP模块进行了对比测试。
和Yolov4作者的研究相同&＃xff0c;采用SPP模块的方式&＃xff0c;比单纯的使用k*k最大池化的方式&＃xff0c;更有效的增加主干特征的接收范围&＃xff0c;显著的分离了最重要的上下文特征。
Yolov4的作者在使用608*608大小的图像进行测试时发现&＃xff0c;在COCO目标检测任务中&＃xff0c;以0.5%的额外计算代价将AP50增加了2.7%&＃xff0c;因此Yolov4中也采用了SPP模块。
PAN结构比较有意思&＃xff0c;看了网上Yolov4关于这个部分的讲解&＃xff0c;大多都是讲的比较笼统的&＃xff0c;而PAN是借鉴图像分割领域PANet的创新点&＃xff0c;有些同学可能不是很清楚。
下面大白将这个部分拆解开来&＃xff0c;看下Yolov4中是如何设计的。
Yolov3结构&＃xff1a;
我们先来看下Yolov3中Neck的FPN结构
1.1 Yolov3网络结构图
可以看到经过几次下采样&＃xff0c;三个紫色箭头指向的地方&＃xff0c;输出分别是76*76、38*38、19*19。
以及最后的Prediction中用于预测的三个特征图①19*19*255、②38*38*255、③76*76*255。[注&＃xff1a;255表示80类别(1&＃43;4&＃43;80)×3&＃61;255]
我们将Neck部分用立体图画出来&＃xff0c;更直观的看下两部分之间是如何通过FPN结构融合的。
如图所示&＃xff0c;FPN是自顶向下的&＃xff0c;将高层的特征信息通过上采样的方式进行传递融合&＃xff0c;得到进行预测的特征图。
Yolov4结构&＃xff1a;
而Yolov4中Neck这部分除了使用FPN外&＃xff0c;还在此基础上使用了PAN结构&＃xff1a;
前面CSPDarknet53中讲到&＃xff0c;每个CSP模块前面的卷积核都是3*3大小&＃xff0c;步长为2&＃xff0c;相当于下采样操作。
因此可以看到三个紫色箭头处的特征图是76*76、38*38、19*19。
以及最后Prediction中用于预测的三个特征图&＃xff1a;①76*76*255&＃xff0c;②38*38*255&＃xff0c;③19*19*255。
我们也看下Neck部分的立体图像&＃xff0c;看下两部分是如何通过FPN&＃43;PAN结构进行融合的。
和Yolov3的FPN层不同&＃xff0c;Yolov4在FPN层的后面还添加了一个自底向上的特征金字塔。
其中包含两个PAN结构。
这样结合操作&＃xff0c;FPN层自顶向下传达强语义特征&＃xff0c;而特征金字塔则自底向上传达强定位特征&＃xff0c;两两联手&＃xff0c;从不同的主干层对不同的检测层进行参数聚合,这样的操作确实很皮。
FPN&＃43;PAN借鉴的是18年CVPR的PANet&＃xff0c;当时主要应用于图像分割领域&＃xff0c;但Alexey将其拆分应用到Yolov4中&＃xff0c;进一步提高特征提取的能力。
不过这里需要注意几点&＃xff1a;
注意一&＃xff1a;
Yolov3的FPN层输出的三个大小不一的特征图①②③直接进行预测
但Yolov4的FPN层&＃xff0c;只使用最后的一个76*76特征图①&＃xff0c;而经过两次PAN结构&＃xff0c;输出预测的特征图②和③。
这里的不同也体现在cfg文件中&＃xff0c;这一点有很多同学之前不太明白&＃xff0c;
比如Yolov3.cfg最后的三个Yolo层&＃xff0c;
第一个Yolo层是最小的特征图19*19&＃xff0c;mask&＃61;6,7,8&＃xff0c;对应最大的anchor box。
第二个Yolo层是中等的特征图38*38&＃xff0c;mask&＃61;3,4,5&＃xff0c;对应中等的anchor box。
第三个Yolo层是最大的特征图76*76&＃xff0c;mask&＃61;0,1,2&＃xff0c;对应最小的anchor box。
而Yolov4.cfg则恰恰相反
第一个Yolo层是最大的特征图76*76&＃xff0c;mask&＃61;0,1,2&＃xff0c;对应最小的anchor box。
第二个Yolo层是中等的特征图38*38&＃xff0c;mask&＃61;3,4,5&＃xff0c;对应中等的anchor box。
第三个Yolo层是最小的特征图19*19&＃xff0c;mask&＃61;6,7,8&＃xff0c;对应最大的anchor box。
注意点二&＃xff1a;
原本的PANet网络的PAN结构中&＃xff0c;两个特征图结合是采用shortcut操作&＃xff0c;而Yolov4中则采用concat&＃xff08;route&＃xff09;操作&＃xff0c;特征图融合后的尺寸发生了变化。
这里也可以对应Yolov4的netron网络图查看&＃xff0c;很有意思。
目标检测任务的损失函数一般由Classificition Loss&＃xff08;分类损失函数&＃xff09;和Bounding Box Regeression Loss&＃xff08;回归损失函数&＃xff09;两部分构成。
Bounding Box Regeression的Loss近些年的发展过程是&＃xff1a;Smooth L1 Loss-> IoU Loss&＃xff08;2016&＃xff09;-> GIoU Loss&＃xff08;2019&＃xff09;-> DIoU Loss&＃xff08;2020&＃xff09;->CIoU Loss&＃xff08;2020&＃xff09;
我们从最常用的IOU_Loss开始&＃xff0c;进行对比拆解分析&＃xff0c;看下Yolov4为啥要选择CIOU_Loss。
a.IOU_Loss
可以看到IOU的loss其实很简单&＃xff0c;主要是交集/并集&＃xff0c;但其实也存在两个问题。
问题1&＃xff1a;即状态1的情况&＃xff0c;当预测框和目标框不相交时&＃xff0c;IOU&＃61;0&＃xff0c;无法反应两个框距离的远近&＃xff0c;此时损失函数不可导&＃xff0c;IOU_Loss无法优化两个框不相交的情况。
问题2&＃xff1a;即状态2和状态3的情况&＃xff0c;当两个预测框大小相同&＃xff0c;两个IOU也相同&＃xff0c;IOU_Loss无法区分两者相交情况的不同。
因此2019年出现了GIOU_Loss来进行改进。
b.GIOU_Loss
可以看到右图GIOU_Loss中&＃xff0c;增加了相交尺度的衡量方式&＃xff0c;缓解了单纯IOU_Loss时的尴尬。
但为什么仅仅说缓解呢&＃xff1f;
因为还存在一种不足&＃xff1a;
问题&＃xff1a;状态1、2、3都是预测框在目标框内部且预测框大小一致的情况&＃xff0c;这时预测框和目标框的差集都是相同的&＃xff0c;因此这三种状态的GIOU值也都是相同的&＃xff0c;这时GIOU退化成了IOU&＃xff0c;无法区分相对位置关系。 基于这个问题&＃xff0c;2020年的AAAI又提出了DIOU_Loss。
c.DIOU_Loss
好的目标框回归函数应该考虑三个重要几何因素&＃xff1a;重叠面积、中心点距离&＃xff0c;长宽比。
针对IOU和GIOU存在的问题&＃xff0c;作者从两个方面进行考虑
一&＃xff1a;如何最小化预测框和目标框之间的归一化距离&＃xff1f;
二&＃xff1a;如何在预测框和目标框重叠时&＃xff0c;回归的更准确&＃xff1f;
针对第一个问题&＃xff0c;提出了DIOU_Loss&＃xff08;Distance_IOU_Loss&＃xff09;
DIOU_Loss考虑了重叠面积和中心点距离&＃xff0c;当目标框包裹预测框的时候&＃xff0c;直接度量2个框的距离&＃xff0c;因此DIOU_Loss收敛的更快。
但就像前面好的目标框回归函数所说的&＃xff0c;没有考虑到长宽比。
比如上面三种情况&＃xff0c;目标框包裹预测框&＃xff0c;本来DIOU_Loss可以起作用。
但预测框的中心点的位置都是一样的&＃xff0c;因此按照DIOU_Loss的计算公式&＃xff0c;三者的值都是相同的。
针对这个问题&＃xff0c;又提出了CIOU_Loss&＃xff0c;不对不说&＃xff0c;科学总是在解决问题中&＃xff0c;不断进步&＃xff01;&＃xff01;
d.CIOU_Loss
CIOU_Loss和DIOU_Loss前面的公式都是一样的&＃xff0c;不过在此基础上还增加了一个影响因子&＃xff0c;将预测框和目标框的长宽比都考虑了进去。
其中v是衡量长宽比一致性的参数&＃xff0c;我们也可以定义为&＃xff1a;
这样CIOU_Loss就将目标框回归函数应该考虑三个重要几何因素&＃xff1a;重叠面积、中心点距离&＃xff0c;长宽比全都考虑进去了。
再来综合的看下各个Loss函数的不同点&＃xff1a;
IOU_Loss&＃xff1a;主要考虑检测框和目标框重叠面积。
GIOU_Loss&＃xff1a;在IOU的基础上&＃xff0c;解决边界框不重合时的问题。
DIOU_Loss&＃xff1a;在IOU和GIOU的基础上&＃xff0c;考虑边界框中心点距离的信息。
CIOU_Loss&＃xff1a;在DIOU的基础上&＃xff0c;考虑边界框宽高比的尺度信息。
Yolov4中采用了CIOU_Loss的回归方式&＃xff0c;使得预测框回归的速度和精度更高一些。
Nms主要用于预测框的筛选&＃xff0c;常用的目标检测算法中&＃xff0c;一般采用普通的nms的方式&＃xff0c;Yolov4则借鉴上面D/CIOU loss的论文&＃xff1a;https://arxiv.org/pdf/1911.08287.pdf
将其中计算IOU的部分替换成DIOU的方式&＃xff1a;
再来看下实际的案例
在上图重叠的摩托车检测中&＃xff0c;中间的摩托车因为考虑边界框中心点的位置信息&＃xff0c;也可以回归出来。
因此在重叠目标的检测中&＃xff0c;DIOU_nms的效果优于传统的nms。
注意&＃xff1a;有读者会有疑问&＃xff0c;这里为什么不用CIOU_nms&＃xff0c;而用DIOU_nms?
答&＃xff1a;因为前面讲到的CIOU_loss&＃xff0c;是在DIOU_loss的基础上&＃xff0c;添加的影响因子&＃xff0c;包含groundtruth标注框的信息&＃xff0c;在训练时用于回归。
但在测试过程中&＃xff0c;并没有groundtruth的信息&＃xff0c;不用考虑影响因子&＃xff0c;因此直接用DIOU_nms即可。
总体来说&＃xff0c;YOLOv4的论文称的上良心之作&＃xff0c;将近几年关于深度学习领域最新研究的tricks移植到Yolov4中做验证测试&＃xff0c;将Yolov3的精度提高了不少。
虽然没有全新的创新&＃xff0c;但很多改进之处都值得借鉴&＃xff0c;借用Yolov4作者的总结。
Yolov4 主要带来了 3 点新贡献&＃xff1a;
&＃xff08;1&＃xff09;提出了一种高效而强大的目标检测模型&＃xff0c;使用 1080Ti 或 2080Ti 就能训练出超快、准确的目标检测器。
&＃xff08;2&＃xff09;在检测器训练过程中&＃xff0c;验证了最先进的一些研究成果对目标检测器的影响。
&＃xff08;3&＃xff09;改进了 SOTA 方法&＃xff0c;使其更有效、更适合单 GPU 训练。
代码地址&＃xff1a;https://github.com/Tianxiaomo/pytorch-Yolov4
作者的训练和测试推理代码都已经完成
Yolov4作者Alexey的代码&＃xff0c;俄罗斯的大神&＃xff0c;应该是个独立研究员&＃xff0c;更新算法的频繁程度令人佩服。
在Yolov3作者Joseph Redmon宣布停止更新Yolo算法之后&＃xff0c;Alexey凭借对于Yolov3算法的不断探索研究&＃xff0c;赢得了Yolov3作者的认可&＃xff0c;发布了Yolov4。
代码地址&＃xff1a;https://github.com/AlexeyAB/darknet
目前测试有效的有tensorflow版本&＃xff1a;weights->pb->trt
代码地址&＃xff1a;https://github.com/hunglc007/tensorflow-Yolov4-tflite
代码地址&＃xff1a;https://github.com/wang-xinyu/tensorrtx/tree/master/Yolov4
作者自定义了mish激活函数的plugin层&＃xff0c;Tensorrt加速后速度还是挺快的。
因为Yolov5的核心基础知识点也很多&＃xff0c;可以查看大白的另一篇文章文章
江大白&＃xff1a;深入浅出Yolo系列之Yolov5核心基础知识完整讲解zhuanlan.zhihu.com
项目中&＃xff0c;目标检测算法应该的非常多非常多&＃xff0c;比如人脸识别&＃xff0c;比如疫情期间的口罩人脸识别&＃xff0c;比如车流统计&＃xff0c;人流统计等等。
因此大白也会将不错的值得一试的目标检测数据集汇总到此处&＃xff0c;方便需要的同学进行下载。
数据集详情&＃xff1a;由武汉大学多媒体研究中心发起&＃xff0c;目前是全球最大的口罩遮挡人脸数据集。
分为真实口罩人脸和模拟口罩人脸两部分&＃xff0c;真实口罩人脸包含525人的5000张口罩人脸和9万张正常人脸。模拟口罩人脸包含1万个人共50万张模拟人脸数据集。
应用项目&＃xff1a;人脸检测、人脸识别
数据集地址&＃xff1a;https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset
数据集详情&＃xff1a;香港中文大学发起的&＃xff0c;包含3万张图片共40万张人脸。
应用项目&＃xff1a;人脸检测
数据集地址&＃xff1a;http://shuoyang1213.me/WIDERFACE/WiderFace_Results.html
数据集详情&＃xff1a;多种场景比较拥挤场景的行人检测数据集&＃xff0c;包含13382张图片&＃xff0c;共计40万个不同遮挡程度的人体。
应用项目&＃xff1a;人体检测
数据集地址&＃xff1a;http://www.cbsr.ia.ac.cn/users/sfzhang/WiderPerson/
因为工作原因&＃xff0c;会搜集大量的各类公开应用场景数据集&＃xff0c;如果有同学需要其他场景或者其他项目的&＃xff0c;也可以留言&＃xff0c;或者发送邮件到jiangdabai&＃64;126.com&＃xff0c;也会将对应的数据集更新到此处。
在深度学习的图像领域&＃xff0c;肯定会涉及目标检测&＃xff0c;而在目标检测中&＃xff0c;Yolov3是非常经典&＃xff0c;必须要学习的算法&＃xff0c;有些同学&＃xff0c;特别新接触的同学&＃xff0c;刚学习时会觉得yolo算法很繁琐。
但我发现&＃xff0c;网上很多的教程其实讲的还是比较笼统&＃xff0c;并不适合小白学习。
所以大白也在耗尽洪荒之力&＃xff0c;在准备Yolov3和Yolov4及相关的基础入门视频&＃xff0c;让大家看完就能明白整体的流程和各种算法细节&＃xff0c;大家可以先收藏&＃xff0c;后期制作好后会更新到此处。
希望和大家一起努力&＃xff0c;在人工智能深度学习领域一起进步&＃xff0c;一起提升&＃xff0c;一起变强&＃xff01;
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有 
