跨模态检索|VisualRepresentationLearning

这篇论文最近被TCSVT接收&＃xff0c;其主要任务为视频文本检索&＃xff0c;并主要针对于视频特征表示学习。由于人们阅读时&＃xff0c;通常会首先阅读概述&＃xff0c;然后在进行精读&＃xff0c;受这一阅读策略的启发&＃xff0c;本文提出了一种视频特征学习方法(RIVRL)来表示视频&＃xff0c; 它包含两个分支&＃xff1a;一个预览分支和一个精读分支&＃xff0c;顾名思义&＃xff0c;预览分支用来捕捉视频的概述信息&＃xff0c;精读分支用来捕捉视频中更加深层次的信息。

然而在该任务中&＃xff0c;如图1所示&＃xff0c;类似的视频特征学习的多分支范式往往都是独立的&＃xff0c;然而作者认为&＃xff0c;尽管这种方法取得了很好的性能&＃xff0c;但作者认为这样的独立多分支范式是次优的。根据作者的观察&＃xff0c;当两个分支独立学习时&＃xff0c;两分支都倾向于学习视频中的主要对象&＃xff0c;而忽略它具体的关键细节。因此&＃xff0c;为了加强多个分支之间的互补性&＃xff0c;作者设计了预览感知注意力&＃xff0c;使得精读分支可以感知到预览分支所捕捉到的视频的概述信息&＃xff0c;以捕捉视频中更加精确且细粒度的视频信息。

Method

Previewing Branch

该分支主要用来捕捉视频中的概述信息&＃xff0c;是一个轻量级的分支&＃xff0c;通过双向GRU来提取一个序列特征 

 &＃xff0c;然后将其进行平均池化得到一个向量特征  &＃xff0c; 

Intensive-Reading Branch

该分支主要用来学习更深次的视频特征信息&＃xff0c;受n-gram语言模型的启发&＃xff0c;作者将n个连续的帧作为一个视频片段&＃xff0c;其主要通过使用一个特定大小的滑动窗口将视频划分成一个片段序列&＃xff0c;作者这里使用了多个不同大小的滑动窗口&＃xff0c;进一步得到了多个不同长度的片段特征序列&＃xff0c;作为多粒度的特征表示。

其具体实现方式为&＃xff0c;首先给定一个视频&＃xff0c;使用一个全连接层&＃xff0c;将帧级特征序列映射到一个低维特征空间&＃xff0c;使用不同尺寸的1d-cnn来聚合临近的帧级特征得到一个segment feature&＃xff0c; 

 &＃xff0c;

Previewing-aware Attention

得到了多粒度的视频特征表示&＃xff0c;作者旨在对其进行增强&＃xff0c;通过预览分支得到的概述信息进行指导&＃xff0c;自适应的选择视频片段特征。

作者借鉴了Transformer中多头注意力&＃xff0c;由于多头注意力的计算复杂度是平方级的&＃xff0c;这里作者设计了一种更为轻量级的预览感知注意力&＃xff0c;将预览分支的输出特征向量作为query&＃xff0c;精读分支的片段特征序列作为key和value&＃xff0c;由于精读特征包含了多粒度的特征表示&＃xff0c;因此这里多个粒度并行执行&＃xff0c;&＃xff08;和多头的思想很像的&＃xff0c;这里是多个粒度执行&＃xff09;&＃xff0c;和Transformer一样&＃xff0c;后面使用了FFN&＃xff1a;

最终将不同粒度的感知注意力的输出特征向量拼接起来作为最终的精读分支的特征表示&＃xff1a;

文本编码&＃xff0c;作者这里使用了Dual Encoding的多级编码方法&＃xff0c;就不在过多阐述。

Video-Text matching

利用了hybrid space的思想&＃xff0c;作者采用了double hybrid space的策略&＃xff0c;将预览分支和精读分支的视频特征分别与文本特征进行匹配&＃xff0c;最终的相似度也为两个分支与文本分支的相似度之和。

Experiments

Comparison with the State-of-the-art

这篇论文在MSRVTT&＃xff0c;TGIF, VATEX三个数据集上进行了实验&＃xff1a;

带有BERT的RIVRL实现了显著的性能提升。可以与目前的 state-of-the-art T2VLAD相比较&＃xff0c;其使用了7种视频特征相比&＃xff0c;该模型只利用了两个视觉特征&＃xff0c;而且比T2VLAD更为轻量。

值得注意的是&＃xff0c;在MV-Xu上&＃xff0c;该模型在没有BERT的情况下的性能可与有BERT的SEA相比。sea使用了简单的均值池和三个独立的FClayers作为视频编码器&＃xff0c;而该模型使用了两个依赖的分支来表示视频。结果表明了多依赖分支在视频表示中的有效性。

在TGIF和VATEX两个数据集上也均取得了最好的结果&＃xff1a;

研究该模型在不同类型的视频上的表现&＃xff0c;即视频复杂度和视频类别。并与Dual Encoding进行对比&＃xff1a;

此外&＃xff0c;作者还进行了一些定性的实验分析&＃xff1a;

1&＃xff09;为了研究RIVRL学到了什么&＃xff0c;作者在msrvtt上进行了视频到视频检索

该结果表明&＃xff0c;预览分支能够捕获粗糙的语义相关性&＃xff0c;而精读分支有能力获得更细粒度的语义相关性。

如图5所示&＃xff0c;第一行中的query视频为三个人在跳舞&＃xff0c;而预览分支所捕捉到的是一群人在跳舞&＃xff0c;精读分支捕捉到的是也是三个人在跳舞。

2&＃xff09;对改模型所学习到的注意力进行了可视化

该结果在一定程度上说明了所学习到的注意力的合理性。

第一个视频的单一场景中所有的帧几乎是相似的&＃xff0c;学习到的帧级注意和片段级注意的权重也几乎相等。对于包含多个不同场景的视频&＃xff0c;模型的注意力通常会选择传达视频语义的片段。

Ablation Study

1) Single branch vs. Multiple branches

2) Dependent branches vs. Independent branches

3) The effectiveness of multi-granularity segment representation

4) The effectiveness of multi-head attention

5) The influence of dependency modeling

Video-to-Video Retrieval

Analysis on Model Complexity

作者&＃xff1a;李加贝

&＃xff5c;关于深延科技&＃xff5c;

深延科技成立于2018年1月&＃xff0c;中关村高新技术企业&＃xff0c;是拥有全球领先人工智能技术的企业AI服务专家。以计算机视觉、自然语言处理和数据挖掘核心技术为基础&＃xff0c;公司推出四款平台产品——深延智能数据标注平台、深延AI开发平台、深延自动化机器学习平台、深延AI开放平台&＃xff0c;为企业提供数据处理、模型构建和训练、隐私计算、行业算法和解决方案等一站式AI平台服务。