paddle图标注_不同视角构造cycleconsistency，降低视频标注成本

最近看了两篇文章&＃xff0c;题目惊人的相似&＃xff0c;但是切入点和潜在应用却完全不同&＃xff1a;

1.《Temporal Cycle-Consistency Learning》[1]&＃xff0c;出自谷歌DeepMind&＃xff0c;是上一篇《Time-Contrastive Networks: Self-Supervised Learning from Video》[2]的拓展升级版。在文中对于temporal alignment 任务&＃xff0c;利用多个同类视频间的时间上下文的一致性来做frame matching&＃xff0c;self-supervised 地学习多帧的embedding features。

2. 《Learning Correspondence from the Cycle-consistency of Time》[3]&＃xff0c;出自CMU的Xiaolong等。对于一个视频内时间上下文的mid-level特征一致性来做patch matching&＃xff0c;self-supervised 地学习单帧的embedding features。

这两篇文章都同时提到很多相同的关键词&＃xff1a;self-supervised, Correspondence, nearest neighbors, embeddings。

它们的主要相同点&＃xff1a;1) 都设计了cycle-consistency的loss来进行自监督学习&＃xff1b; 2) 都是先对每帧单独提取mid-level feature&＃xff0c;然后再在deep space里进行matching。

它们的主要区别&＃xff1a;1) 前者的cycle loss设计是基于多个视频间的&＃xff0c;而后者是对于一个视频内部的&＃xff1b;2) 由于前者对frame-level进行matching&＃xff0c;帧global 与 global运算&＃xff1b;而后者是local patch与global运算。

----------------------------------------------------------------

一、Temporal Cycle-Consistency Learning (TCC) [1]&＃xff0c;CVPR2019

该文的目标是自学习embedding spaces&＃xff0c;使得视频1和视频2尽量对齐。如下图所示&＃xff0c;1) 首先对视频1和视频2若干帧映射到embedding spaces&＃xff0c;左边的每个圆圈表示每帧的表征&＃xff1b;2) 接着在视频1中寻找视频2当前帧&＃xff08;黑色和红色的圆圈&＃xff09;中的nearest neighbors&＃xff08;即实线蓝色箭头对应的两个绿色点&＃xff09;&＃xff1b;3) 最后cycle-back&＃xff0c;用同样的方法寻找视频2中对应视频1两个绿色点nearest neighbors。这里产生的cycle consistency error就作为模型的Loss。

由于 cycle-consistency 的计算是不可微的&＃xff0c;文中的主要贡献是设计了两种可微方法来实现 cycle-consistency&＃xff0c;分别是Cycle-back 分类和Cycle-back 回归。

我们首先计算视频

中的

在视频

的soft nearest neighbor

&＃xff0c;然后再反过来求

在视频

中的nearest neighbor。下面两种方式是用来实现soft nearest neighbor matching&＃xff1a;

1.Cycle-back 分类

把每一帧当成是一个类别&＃xff0c;那么匹配nearest neighbor可看成是one-hot分类问题&＃xff0c;即只有匹配帧为1&＃xff0c;其他帧为0。逻辑单元直接由两者在embedding space的距离表示&＃xff0c;这样从视频

中寻找当前

的近邻可以表达成&＃xff1a;

反过来&＃xff0c;从视频

中寻找

的近邻也可通过距离的Softmax表示&＃xff0c;最后产生的cross-entropy loss就是cycle consistency error。

2.Cycle-back 回归

由于上述分类过程没有约束cycled back的时间点要离当前时间点的远近&＃xff0c;而作者希望对离得近的时间点惩罚小&＃xff0c;而离得远的时间点惩罚大&＃xff0c;故在cycling back的过程加入了regression loss&＃xff0c;即约束相似性分布为高斯分布&＃xff0c;使得在当前时间点附近有Peak分布&＃xff0c;而整体的variance尽量小&＃xff0c;Loss表示为&＃xff1a;

后面实验时也对比了MSE版本的Loss&＃xff0c;即只考虑高斯分布中的均值&＃xff0c;不考虑方差&＃xff0c;

&＃xff0c;从实验结果来看&＃xff0c;性能 Cycle-back 回归 > Cycle-back 分类 > MSE

------------------------------------

关于Encoder&＃xff0c;使用的是VGG-M/ResNet50。而Embeeding Network结构如下&＃xff0c;加入3D卷积和3D池化&＃xff0c;在补充材料中作者说到&＃xff0c;即使在 k&＃61;2 情况下&＃xff0c;性能也较好。

实验结果

从下面实验结果图可见&＃xff1a;1) 在仅仅有 0.1%和0.5%标注的label情况下&＃xff0c;TCC性能远比Supervised learning的效果好&＃xff0c;体现出 self-supervised learning在少样本学习下的优势&＃xff1b; 2) TCC性能明显优于现有的两种无监督学习方法 SaL 和 TCN&＃xff0c;当TCC&＃43;TCN结合时&＃xff0c;在Penn Action下性能达到最大。

潜在应用

1.语音和视频跨模态迁移对齐

2.视频的细粒度检索&＃xff0c;检索到内容对齐好的frame-level

3.视频异常检测

4.视频同步回放

具体可见 https://sites.google.com/view/temporal-cycle-consistency

--------------------------------------------------------------

二、Time-Contrastive Networks&＃xff08;TCN&＃xff09;[2]&＃xff0c;ICRA2018

由于上面实验有对比TCN的结果&＃xff0c;这里简单介绍下&＃xff0c;都是同一个组的工作。主要思想在temporal上构造三元组&＃xff0c;离anchor近的当成positive&＃xff0c;离anchor远的当成negative。通过这个self-supervised learning&＃xff0c;模型能学到强时间上下文的表达&＃xff0c;尽管在空间上这些帧都是similar-looking images。

与TCC相比&＃xff0c;TCN只有一个视频内部训练&＃xff0c;难以学到多个视频的时间上下文关联&＃xff0c;这也是在视频对齐中性能不如TCC的主要原因。

----------------------------------------------------------------

三、Learning Correspondence from the Cycle-consistency of Time[3]&＃xff0c;CVPR2019

该文主要致力于统一光流和跟踪&＃xff0c;通过自学习时空上的corresponding来得更好的embedding表征。如下图所示&＃xff0c;主要贡献点有&＃xff1a;1&＃xff09;构造了从t-->t-1-->t-2-->t-1-->t的time cycle&＃xff0c;在不要手工标注label情况下&＃xff0c;通过cycle前后的信息差异&＃xff0c;来引导模型学习 &＃xff1b;2&＃xff09;对于上下文tracking&＃xff0c;如t-->t-1&＃xff0c;构造了可微分的tracking operation&＃xff0c;使得网络能进行端到端地训练。

首先我们来看可微分tracking operation

&＃xff0c;简单的patch matching过程。如下图所示&＃xff0c;1) 首先对当前帧需要跟踪的patch和上一帧&＃xff0c;提取下采样8倍的Mid-level feature&＃xff0c;进行L2正规化&＃xff0c;通过点乘计算Affinity矩阵后Softmax&＃xff1b; 2&＃xff09;接着通过两个卷积层和一个全连接层&＃xff0c;定位出仿射变换的三个参数&＃xff0c;2D平移和旋转&＃xff1b;3&＃xff09;最后进行双线性sample&＃xff0c;得到匹配后区域的特征。

网络的端到端训练是基于Backward-forward的iterative tracking后的模板匹配来实现的。如下图所示&＃xff0c;在backward过程&＃xff0c;从

-->

-->

&＃xff0c;通过迭代进行上述的tracking operation

&＃xff0c;我们可以得到跟踪到的特征&＃xff1b;然后进行反向forward&＃xff0c;迭代两次

&＃xff0c;最后得到cycled back的patch特征&＃xff0c;计算与原始patch特征的loss&＃xff0c;更新网络

和

文中使用的 Loss 由三部分组成&＃xff1a;

为每个tracking operation

前后的patch feature的相似度损失&＃xff1b;

和

为 2-step skip cycle和原始cycle下的坐标级别的patch alignment误差。

实验结果

性能远超当前的几种unsupervised methods&＃xff0c;但相比fully supervised&＃xff0c;仍需努力。

不同应用下可视化效果&＃xff0c;在不需要人工label情况下&＃xff0c;已经很棒棒哒&＃xff1a;

官方的代码链接&＃xff1a;https://github.com/xiaolonw/TimeCycle

-------------------------------------------------------------

总结与展望&＃xff1a;

两篇文章从不同视角来构造cycle-consistency约束&＃xff0c;目标都是为了在不需要标注label情况下&＃xff0c;学到更好的视频representation&＃xff0c;这也是解决在real-world中大规模无标注视频数据的低利用率及高昂的frame-level人工标注成本等问题。正如作者在future work里谈到的&＃xff0c;这两篇文章还是存在一定局限&＃xff0c;比如[1]中的训练需要保证同一个视频内部尽量无重复的动作片段&＃xff0c;以及两个视频的类别及内容必须有一定的相似性&＃xff1b;[3]中在训练过程patch的选取是随机化的&＃xff0c;可能包含多个物体&＃xff0c;很容易导致网络学习歧异。

未来展望的话&＃xff0c;必须把两篇文章的思想用起来&＃xff0c;拓展到各种视频任务中&＃xff1b;而对于两篇文章本身&＃xff0c;双方的结合未尝不可&＃xff0c;对于[1]中embedding特征是基于全局的&＃xff0c;可参考[3]中类似思想&＃xff0c;找到场景下带语义的object/patch来进行cycle交互&＃xff0c;估计能理解得更好&＃xff0c;对齐得更好。

Reference:

[1] Debidatta Dwibedi et al., Temporal Cycle-Consistency Learning, CVPR2019

[2] Pierre Sermanet et al., Time-Contrastive Networks: Self-Supervised Learning from Video, ICRA2018

[3] Xiaolong Wang et al. , Learning Correspondence from the Cycle-consistency of Time, CVPR2019