多目标追踪——【Transformer】MOTR:EndtoEndMultipleObjectTrackingwithTRansformer

论文链接&＃xff1a;https://arxiv.org/abs/2105.03247

1. 受到DERT启发&＃xff0c;将目标检测中的$Object$ $Query$迁移到多目标追踪中&＃xff0c;构造了$Track$ $Query$。这个出发点也决定MOTR也是一个基于检测的追踪。
2. 当前许多基于检测的追踪方法是外观建模&＃43;运动建模 (后置处理&＃xff0c;如卡尔曼滤波等)&＃xff0c;而MOTR提出了时序融合网络&＃xff0c;利用$Track$ $Query$的逐帧更新&＃xff0c;同时对外观和运动建模。
3. MOTR为了保证时序建模的有效性&＃xff0c;提出了基于轨迹的标签构造【tracklet-aware label assignment】训练策略&＃43;联合平均损失【collective average loss】增强模型的时序建模。

通常来讲&＃xff0c;虽然目标检测与目标跟踪都是CV领域&＃xff0c;但由于下端的根本任务不同&＃xff0c;所以直接套用肯定有问题&＃xff0c;所以要仔细设计。

1. 用一个$Track$ $Query$追踪同一个目标。 因为DERT中的$Object$ $Query$是基于每一帧识别&＃xff0c;每一个目标和$Object$ $Query$并不存在对应关系&＃xff0c;如下图(a)。但多目标追踪需要对序列中每个目标生成追踪轨迹&＃xff0c;这必然要求目标轨迹的一致性&＃xff0c;不能发生ID Switch的问题。 这就意味着目标检测&＃43;目标轨迹匹配都要用$Track$ $Query$来实现&＃xff0c;这也是端到端的精髓了&＃xff0c;取消后置处理。本文引入基于轨迹的标签构造【tracklet-aware label assignment】训练策略&＃xff0c;使得用同一个ID的边界框去监督训练检测&＃43;匹配的过程。
   
2. 对新出现目标和消失目标的处理。 因为多目标追踪中会面临某个目标突然消失或突然出现等情况&＃xff0c;所以固定长度的$Track$ $Query$并无法满足实际的需求。故本文提出了两个变量集合——$Track$ $Query$&＃xff08;可变长度&＃xff09;和$Detect$ $Query$&＃xff08;固定长度&＃xff09;来处理目标出现和消失等情况。 如上图(b)&＃xff0c;对于每一帧都要迭代式更新$Track$ $Query$&＃xff0c;将消失的目标将其对应的$Track$ $Query$删去&＃xff0c;并且每一帧用$Detect$ $Query$检测该帧有多少目标&＃xff0c;新目标通过$Detect$ $Query$检测出来加入$Track$ $Query$的集合中。具体过程如下图所示&＃xff1a;
   

可以看到&＃xff0c;上图的结构解析如下&＃xff1a;

1. Enc 表示特征提取阶段&＃xff1a;Backbone网络&＃43;Deformable DERT的Encoder&＃xff1b;
2. Dec 表示Deformable DERT的Decoder。
   
   • 在第一帧由于追踪目标还未出现&＃xff0c;故输入是固定长度的
     
     
     
     
     
     q
     
     
     d
     
     
     
     
     q_d
     
     
     qd​和为空集的
     
     
     
     
     
     q
     
     
     
     t
     
     
     r
     
     
     
     
     
     q_{tr}
     
     
     qtr​&＃xff0c;而后续帧的输入就是
     
     
     
     
     
     q
     
     
     d
     
     
     
     
     q_d
     
     
     qd​和上一帧传递的
     
     
     
     
     
     q
     
     
     
     t
     
     
     r
     
     
     
     
     
     q_{tr}
     
     
     qtr​。
   • 输出是中间态特征&＃xff0c;用于生成追踪预测结果和QIM的输入。

QIM——Query交互模块

此模块的作用是处理目标的出现和消失等情况。图中的分数表示Head预测追踪目标的分类得分。

• 输入&＃xff1a;Decoder输出的中间态特征&＃xff0c;如上图最左侧输入。黄色部分表示
  
  
  
  
  
  q
  
  
  d
  
  
  
  
  q_d
  
  
  qd​&＃xff0c;橙色为
  
  
  
  
  
  q
  
  
  
  t
  
  
  r
  
  
  
  
  
  q_{tr}
  
  
  qtr​。
• 第一步&＃xff1a;将其和Head预测追踪目标的分类得分&＃xff0c;分别输入到处理(a)目标出现、(b)目标消失两个分支中。这里分别设定了两个阈值作为filter&＃xff0c;筛选有效的query。
• 第二步&＃xff1a;对于 (a)目标出现分支中&＃xff0c;将分类分数大于阈值的检测目标视为新增目标。
• 第三步&＃xff1a;对于 (b)目标消失分支中&＃xff0c;当筛选出新的$Track$ $Query$之前&＃xff0c;要经过 【时序增强网络】TAN &＃xff0c;该网络本质是一个self-attention机制。输入是本帧的目标query
  
  
  
  
  
  q
  
  
  
  t
  
  
  r
  
  
  
  i
  
  
  
  
  q_{tr}^i
  
  
  qtri​、第一步(b)分支输出的中间态特征。该输出是下一帧的追踪目标。
• 输出&＃xff1a;第二步与第三步的输出拼接起来为下一帧的追踪目标
  
  
  
  
  
  q
  
  
  
  t
  
  
  r
  
  
  
  
  i
  
  
  &＃43;
  
  
  1
  
  
  
  
  
  q_{tr}^{i&＃43;1}
  
  
  qtri&＃43;1​。

Tracklet-Aware Label Assignment

【目的是为$Track$ $Query$ 对轨迹与目标的一对一关系建模。】
TALA 有两种策略&＃xff0c;分别对应着$Detect$ $Query$和$Track$ $Query$的训练策略

• 针对$Detect$ $Query$ &＃xff1a;沿用DERT中的检测策略专门来检测追踪序列中每一帧出现的新目标。训练策略是对于$Detect$ $Query$与新增目标的GroundTruth进行双向匹配。
  

• 针对$Track$ $Query$ &＃xff1a;本文设计一个目标一致的训练策略。本帧的$Track$ $Query$由上一帧的$Track$ $Query$&＃43;$Detect$ $Query$。对于第一帧&＃xff0c;$Track$ $Query$为空集。
  

Collective Average Loss

【目的是为$Track$ $Query$ 对时序信息的传递进行前后帧建模。】
通常的训练策略是计算帧的loss&＃xff0c;如此策略忽略了序列中存在的关于目标的运动信息。故本文设计了一个联合平均损失预测以video clip为基本单位的损失。联合平均损失&＃61;(单帧的追踪损失&＃43;单帧的检测损失)之和 / 帧数。

与强同学。