CVPRworkshop2018Jointdetectionandonlinemultiobjecttracking

【论文链接】

预备知识

SSD&＃xff1a;Single Shot Multibox Detection

RNN&＃xff1a;Recurrent Neural Network

perceptron&＃xff1a;感知器

摘要

大多数多目标跟踪方法都依赖于目标检测&＃xff0c;用以初始化并更新跟踪集。跟踪和检测常常被独立成两个不相关的模块&＃xff0c;然而事实上它们可以互惠互利&＃xff0c;例如&＃xff1a;跟踪中使用的相似性模型可以重用在检测器中计算得到的表观特征&＃xff0c;检测器可以使用过去的目标信息以防止漏检。基于这个目的&＃xff0c;作者设计了一个联合检测与跟踪的神经网络架构&＃xff0c;将SSD作为检测器并将检测结果传到RNN中&＃xff0c;并对它们同时进行训练。

主要流程

Step1&＃xff1a;首先使用SSD检测器对当前帧t进行目标检测&＃xff0c;得到目标检测集包括置信度、坐标、宽高和表观特征。其中&＃xff0c;由于还没使用非最大化抑制&＃xff0c;该检测集数目由SSD中的prior-boxes决定。

Step2&＃xff1a;根据表观特征&＃xff0c;度量计算当前检测集与过去△max帧跟踪集之间的相似度矩阵。其中&＃xff0c;因为小目标更受距离影响因此设置了自适应尺度因子&＃xff0c;由输入是宽高&＃xff0c;含有一层隐藏层的感知器得到&＃xff1b;相似度矩阵&＃xff0c;由输入是检测分数集、位置间欧氏距离&＃xff0c;含有两层隐藏层的感知器得到。

Step3&＃xff1a;对目标检测集做非最大化抑制&＃xff0c;因为本文算法没有对跟踪集进行预测&＃xff0c;所以跟踪集全靠检测集进行关联更新&＃xff0c;因此为了避免那些具有低检测分数却又属于某轨迹的检测被筛选掉&＃xff0c;局部最优操作前重新计算检测分数。其中&＃xff0c;新检测分数&＃xff0c;由输入是相似度矩阵、旧检测分数集&＃xff0c;含有两层隐藏层的感知器得到。

Step4&＃xff1a;使用匈牙利匹配对检测集与跟踪集进行数据关联。其中&＃xff0c;基于关联的数据&＃xff0c;由输入是相似度矩阵、新检测分数集、跟踪分数集&＃xff0c;含有两层隐藏的感知器得到。

Step5&＃xff1a;计算跟踪分数。其中&＃xff0c;跟踪分数。由输入是上一帧跟踪分数、匹配的新检测分数&＃xff0c;相似度矩阵&＃xff0c;含有两层隐藏层的感知器得到。

Step6&＃xff1a;初始化、终止并更新跟踪集中的轨迹。根据跟踪分数高低&＃xff0c;保留一定数目的轨迹。

实验结果