EdgeYOLO学习笔记

EdgeYOLO: An Edge-Real-Time Object Detector

Abstract

本文基于最先进的YOLO框架&＃xff0c;提出了一种高效、低复杂度、无锚的目标检测器&＃xff0c;该检测器可以在边缘计算平台上实时实现。为了有效抑制训练过程中的过拟合&＃xff0c;我们开发了一种增强的数据增强方法&＃xff0c;并设计了混合随机损失函数来提高小目标的检测精度。在FCOS的启发下&＃xff0c;提出了一种更轻、更高效的解耦磁头&＃xff0c;在不损失精度的情况下提高了推理速度。我们的基线模型在MS COCO2017数据集中可以达到50.6% AP50:95和69.8% AP50的精度&＃xff0c;在VisDrone2019-DET数据集中可以达到26.4% AP50:95和44.8% AP50的精度&＃xff0c;在Nvidia Jetson AGX Xavier边缘计算设备上可以满足实时(FPS≥30)的要求。如图1所示&＃xff0c;我们还为计算能力较低的边缘计算设备设计了更轻、参数更少的模型&＃xff0c;也表现出了更好的性能。我们的源代码、超参数和模型权重都可以在https://github.com/LSH9832/edgeyolo上找到。

Key Words: Anchor-free, edge-real-time, object detector, hybrid random loss

1 Introduction

随着计算硬件性能的不断提高&＃xff0c;基于深度神经网络的计算机视觉技术在近十年得到了迅速发展&＃xff0c;其中目标检测是自主智能系统[1]应用的重要组成部分。目前&＃xff0c;主流的目标检测策略有两种。一种是以R-CNN系列[2,5]为代表的两阶段策略&＃xff0c;另一种是以YOLO[9-11]为最流行的框架之一的一阶段策略。对于两阶段策略&＃xff0c;在第一阶段采用启发式方法或区域建议生成方法获得多个候选盒&＃xff0c;然后在第二阶段对这些候选盒进行筛选、分类和回归。单阶段策略以端到端的方式给出结果&＃xff0c;其中目标检测问题转化为全局回归问题。全局回归不仅能够同时为多个候选框分配位置和类别&＃xff0c;而且能够使模型更清晰地分离对象和背景。

在常见对象检测数据集(如MS COCO2017[3])上&＃xff0c;使用两阶段策略的模型比使用一阶段策略的模型表现稍好。然而&＃xff0c;由于两阶段框架的内在局限性&＃xff0c;它远远不能满足传统计算设备上的实时性要求&＃xff0c;在大多数高性能计算平台上也可能面临同样的情况。相比之下&＃xff0c;单级目标检测器可以在实时指标和性能之间保持平衡。因此&＃xff0c;它们更受到研究人员的关注&＃xff0c;YOLO系列算法以高速迭代更新。从YOLOv1到YOLOv3[9-11]的更新主要是对底层框架结构的改进&＃xff0c;之后的YOLO主流版本大多侧重于提高精度和推理速度。此外&＃xff0c;他们的优化测试平台主要是具有高性能gpu的大型工作站。然而&＃xff0c;他们最先进的模型通常在这些边缘计算设备上以令人不满意的低FPS运行。为此&＃xff0c;一些研究人员提出了参数更少、结构更轻的网络结构&＃xff0c;如MobileNet和ShuffleNet&＃xff0c;以取代原有的骨干网&＃xff0c;从而在移动设备和边缘设备上获得更好的实时性&＃xff0c;但牺牲了一些精度。在本文中&＃xff0c;我们的目标是设计一个具有良好精度的对象检测器&＃xff0c;可以实时运行在边缘设备上。

本文的主要贡献如下:

i)设计了一种无锚目标检测器&＃xff0c;该检测器可在MS COCO2017数据集上实时运行在边缘设备上&＃xff0c;AP精度为50.6%;

ii)提出了一种更强大的数据增强方法&＃xff0c;进一步保证了训练数据的数量和有效性;

iii)在我们的模型中使用可以重新参数化的结构&＃xff0c;以减少推理时间;

iv)设计损失函数以提高对小目标的精度。

2 Related Work

2.1 Anchor-free Object Detector

自YOLOv1问世以来&＃xff0c;YOLO系列在实时目标检测领域长期处于领先地位。还有一些其他优秀的检测器&＃xff0c;如SSD [4]&＃xff0c; FCOS[15]等。在测试目标检测任务中的FPS时&＃xff0c;以往的研究大多只计算模型推断的时间成本&＃xff0c;而一个完整的目标检测任务包含预处理、模型推断和后处理三个部分。由于预处理可以在视频流中完成&＃xff0c;因此在计算目标检测的FPS时&＃xff0c;需要考虑后处理的时间成本。在高性能GPU工作站或服务器上&＃xff0c;预处理和后处理的时间只占很小的比例&＃xff0c;而在边缘计算设备上&＃xff0c;其延迟时间甚至是其十倍以上。因此&＃xff0c;减少后处理计算可以显著提高边缘计算设备的速度。当使用基于锚点的策略时&＃xff0c;后处理中的时间延迟几乎与每个网格单元的锚点数量成正比。基于锚的YOLO系列通常为每个网格单元分配3个锚。与基于锚点的检测框架相比&＃xff0c;无锚点检测在后处理部分可以节省一半以上的时间

为了保证检测器在边缘计算设备上的实时性&＃xff0c;我们选择构建一个基于无锚策略的目标检测器。目前无锚检测器主要有两种类型&＃xff0c;一种是基于锚点的检测器&＃xff0c;另一种是基于关键点的检测器。在本文中&＃xff0c;我们采用了基于锚点的范式。

2.2 Data Augmentation

数据增强是神经网络训练中一个重要的数据处理步骤。合理使用数据增强方法可以有效缓解模型过拟合。对于图像数据集&＃xff0c;几何增强(随机裁剪、旋转、镜像、缩放等)和光度增强(HSV和亮度调整)通常应用于单个图像。这些基本增强方法通常用于多图像混合和拼接之前或之后。目前主流的数据增强技术&＃xff0c;如Mosaic[18]、Mixup[7]、CopyPaste[17]等&＃xff0c;通过不同的方法将多张图片的像素信息放在同一张图片中&＃xff0c;丰富图像信息&＃xff0c;降低过拟合概率。

如图2(b)所示&＃xff0c;我们设计了一种更加灵活和强大的组合增强方法&＃xff0c;进一步保证了输入数据的丰富性和有效性。

2.3 Model Reduction

通过模型约简&＃xff0c;降低了计算成本&＃xff0c;可以有效提高模型推理速度。模型约简方法可分为有损约简和无损约简两类。有损缩减通常通过减少网络层数和信道数来构建更小的网络。无损缩减集成和耦合多个分支模块&＃xff0c;通过重新参数化技术[25]构建更精简的等效模块。有损缩减通过牺牲精度来实现更快的速度&＃xff0c;并且由于耦合结构容易降低训练效果&＃xff0c;一般采用重参数化方法在模型训练完成后进行推理。

本文结合有损约简和无损约简方法&＃xff0c;构建了多个不同大小的模型(如图1所示)&＃xff0c;拟合不同计算能力的边缘器件&＃xff0c;加快了模型推断过程。

2.4 Decoupled Regression

从YOLOv1到YOLOv5[9 - 11,18,19]&＃xff0c;对于每个不同比例比的特征图&＃xff0c;回归获得对象的位置、类别和置信度使用统一的卷积核集。一般来说&＃xff0c;不同的任务如果关系密切&＃xff0c;则使用相同的卷积核。然而&＃xff0c;在数值逻辑中&＃xff0c;对象的位置、置信度和类别之间的关系还不够密切。而且&＃xff0c;相关实验证明&＃xff0c;使用解耦的回归检测头[15,23]与直接统一所有任务的回归检测头相比&＃xff0c;可以获得更好的结果&＃xff0c;并且可以加速损失收敛。尽管如此&＃xff0c;解耦的头部会带来额外的推断成本。作为改进&＃xff0c;我们设计了一种更轻的解耦头&＃xff0c;同时考虑了模型的推理速度和精度。

2.5 Small Object Detecting Optimization

自目标检测研究开始以来&＃xff0c;小目标检测问题一直受到广泛关注。随着物体在图像中的比例减少&＃xff0c;用于表达物体的像素信息也会减少。大物体往往比小物体占用几十倍甚至上百倍的信息&＃xff0c;小物体的检测精度往往明显低于大物体。而且&＃xff0c;这种差距不能通过位图图像的属性来消除。此外&＃xff0c;研究人员发现&＃xff0c;在训练[14]时&＃xff0c;小物体在总损失中所占的比例总是较小。

为了提高小目标的检测效果&＃xff0c;以往的研究提出了以下方法:(a)复制小目标&＃xff0c;并随机放置在图像的其他位置&＃xff0c;以增加数据增强过程中小目标的训练数据样本&＃xff0c;称为复制增强[14]。(b)对图像进行缩放和拼接&＃xff0c;将原始图像中较大的物体放大为较小的物体。©损失函数通过增加小物体损失的比例[8]&＃xff0c;使其更加关注小物体。

由于使用方法(a)处理的图像存在尺度不匹配和背景不匹配的问题&＃xff0c;我们仅参考方法(b)和方法©来优化训练过程。我们的数据增强中加入了缩放和拼接方法&＃xff0c;并重新设计了损失函数&＃xff0c;可以有效提高中小目标的检测和模型的整体精度。

3 Approach

3.1 Enhanced-Mosaic & Mixup

许多实时目标检测器在训练过程中使用Mosaic&＃43;Mixup策略进行数据增强&＃xff0c;可以有效缓解训练过程中的过拟合情况。如图3(a)和(b)所示&＃xff0c;有两种常见的组合方法&＃xff0c;当数据集中的单幅图像有相对足够的标签时&＃xff0c;它们表现良好。由于数据论证中的随机过程&＃xff0c;在图3(a)中&＃xff0c;当标签空间有响应时&＃xff0c;数据加载器可能会提供没有有效对象的图像&＃xff0c;这种情况的概率随着每张原始图像中标签数量的减少而增加。

我们设计了如图3©所示的数据增强结构。首先&＃xff0c;我们对多组图像使用Mosaic方法&＃xff0c;可以根据数据集中单张图片平均标签数量的丰富度来设置组数。然后&＃xff0c;利用Mixup方法将最后的简单处理图像与这些经过马赛克处理的图像进行混合。在这些步骤中&＃xff0c;我们最后一个图像的原始图像边界在变换后最终输出图像的边界内。这种数据增强方法有效地增加了图像的丰富度以缓解过拟合&＃xff0c;并确保输出图像必须包含足够的有效信息。

3.2 Lite-Decoupled Head

首先在FCOS[15]中提出了图4中的解耦头&＃xff0c;然后应用于其他无锚目标探测器&＃xff0c;如YOLOX[23]。最后几层采用解耦结构可以加快网络收敛速度&＃xff0c;提高回归性能。

由于解耦头采用分支结构&＃xff0c;导致额外的推理成本&＃xff0c;因此提出了高效解耦头[20]&＃xff0c;其推理速度更快&＃xff0c;将中间3×3卷积层数减少到只有一层&＃xff0c;同时保持与输入特征图相同的较大通道数。然而&＃xff0c;在我们的实验测试中&＃xff0c;这种额外的推断成本随着通道和输入大小的增加而变得更加明显。因此&＃xff0c;我们设计了一个更轻的解耦头部&＃xff0c;具有更少的通道和卷积层。此外&＃xff0c;我们将隐式表示层[24]添加到所有最后的卷积层&＃xff0c;以获得更好的回归性能。采用重新参数化的方法&＃xff0c;将隐式表示层集成到卷积层中&＃xff0c;以降低推理成本。最后的卷积层盒和置信度回归也合并&＃xff0c;使模型可以进行推理与高并行计算。

3.3 Staged Loss Function

对于目标检测&＃xff0c;损失函数一般可以写成如下形式

其中Lcls、Liou、Lobj、L∆L_cls、L_iou、L_obj、L_∆Lc​ls、Li​ou、Lo​bj、L∆​为分类损失、IOU损失、对象损失和调控损失&＃xff0c;$\alpha 、\lambda 、\mu 、\zeta$为超参数。在实验中&＃xff0c;我们将训练过程分为三个阶段。

在第一阶段&＃xff0c;我们采用一种最常见的损失函数配置:gIOU损失为IOU损失&＃xff0c;分类损失和对象损失为平衡交叉熵损失&＃xff0c;调节损失设为零。在最后几个支持数据增强的时代&＃xff0c;培训过程进入了第二个阶段。将分类损失和目标损失的损失函数替换为混合随机损失

其中p代表预测结果&＃xff0c;t代表ground truth, r是0到1之间的随机数。对于一个图像中的所有结果&＃xff0c;我们有这个

这表明小物体的精度和总精度之间有更好的平衡。第三阶段&＃xff0c;我们关闭数据扩充&＃xff0c;将L1损耗作为我们的调节损耗&＃xff0c;将gIOU损耗替换为cIOU损耗。下一节将介绍更多细节。

4 Experiments

5 Conclusion

我们提出了一种边缘实时无锚的一级检测器EdgeYOLO&＃xff0c;其代表性结果如图5和图6所示。实验表明&＃xff0c;EdgeYOLO可以在边缘设备上实时高精度运行&＃xff0c;对小物体的检测能力得到了进一步提高。由于EdgeYOLO采用无锚结构&＃xff0c;降低了设计复杂度和计算复杂度&＃xff0c;在边缘设备上的部署更加友好。此外&＃xff0c;我们相信该框架可以扩展到其他像素级识别任务&＃xff0c;如实例分割。在未来的工作中&＃xff0c;我们将进一步提高框架对小目标的检测精度&＃xff0c;并对高效优化进行探索。