《SiameseFC：FullyConvolutionalSiameseNetworksforObjectTracking》论文笔记

参考代码&＃xff1a;Pytorch-SiamFC

导读&＃xff1a;在这篇文章之前对于目标的跟踪是在一个视频上根据目标的外在特征进行在线学习&＃xff0c;这样的方法也取得了较为不错的结果&＃xff0c;但是这样的方式具有较多的限制性&＃xff0c;推广性不是很好。对此文章借助CNN网络设计了一个新的全卷积Siamese网络&＃xff0c;并且可以实现端到端的训练&＃xff0c;同时也解决了之前CNN网络带来的不能实时的问题。这篇文章的方法简单算作是跟踪领域使用CNN网络比较好的开端文章&＃xff0c;由它衍生出来的一系列siamese跟踪网络至今也是效果很好的存在。

这篇文章的方法利用了Siamese网络共享权值的特性&＃xff0c;对参考图和当前帧分别获取embedding feature&＃xff0c;之后使用correlation match计算两个特征图的相似度&＃xff0c;使其在对应的区域响应度最大。其infer的时候&＃xff08;训练的时候经过图像剪裁和补边&＃xff0c;所以中心怎么都是对齐的&＃xff09;流程见下图所示&＃xff1a;

这里介绍的代码来自于文章开头的“参考代码”&＃xff0c;以下的代码全是来自于该仓库&＃xff0c;这里只梳理了关键性的步骤&＃xff0c;其它非关键步骤忽略。

Step1. 训练标注的生成
这里的训练标注是在给定的correlation feature尺寸上去生成label&＃xff08;同时给定正负样本的阈值&＃xff0c;用以将中心与边缘区分开&＃xff0c;当然也可以通过高斯平滑&＃xff09;

def create_BCELogit_loss_label(label_size, pos_thr, neg_thr, upscale_factor&＃61;4):pos_thr &＃61; pos_thr / upscale_factorneg_thr &＃61; neg_thr / upscale_factor# Note that the center might be between pixels if the label size is even.center &＃61; (label_size - 1) / 2line &＃61; np.arange(0, label_size)line &＃61; line - centerline &＃61; line**2line &＃61; np.expand_dims(line, axis&＃61;0)dist_map &＃61; line &＃43; line.transpose()label &＃61; np.zeros([label_size, label_size, 2]).astype(np.float32)label[:, :, 0] &＃61; dist_map <&＃61; pos_thr**2label[:, :, 1] &＃61; (dist_map <&＃61; pos_thr**2) | (dist_map > neg_thr**2)return label


Step2. 计算ref与search之间的correlation match

def match_corr(self, embed_ref, embed_srch):b, c, h, w &＃61; embed_srch.shapematch_map &＃61; F.conv2d(embed_srch.view(1, b * c, h, w),embed_ref, groups&＃61;b)# Here we reorder the dimensions to get back the batch dimension.match_map &＃61; match_map.permute(1, 0, 2, 3)match_map &＃61; self.match_batchnorm(match_map) # torch.nn.BatchNorm2d(1)if self.upscale:match_map &＃61; F.interpolate(match_map, self.upsc_size, mode&＃61;&＃39;bilinear&＃39;,align_corners&＃61;False)return match_map

Step3&＃xff1a;计算损失

def BCELogit_Loss(score_map, labels):labels &＃61; labels.unsqueeze(1)loss &＃61; F.binary_cross_entropy_with_logits(score_map, labels[:, :, :, :, 0],weight&＃61;labels[:, :, :, :, 1],reduction&＃61;&＃39;mean&＃39;)return loss