计算机视觉领域介绍|自然语言驱动的跨模态行人重识别前沿技术综述（上篇）

点击我爱计算机视觉标星&＃xff0c;更快获取CVML新技术

本文转载自52CV群友Jokie的知乎

https://zhuanlan.zhihu.com/p/69559437

这是上篇&＃xff0c;期待作者早日出下篇&＃xff5e; 撒花&＃xff5e;

通常来说&＃xff0c;多模态学习包含模态间的映射&＃xff0c;模态间对齐&＃xff0c;多模态信息融合等子问题&＃xff0c;例如&＃xff0c;我们常见的看图说话&＃xff08;Image Captioning&＃xff09;属于模态间的映射问题&＃xff0c;视觉问答&＃xff08;Visual Question Answering&＃xff09;就包含多模态信息融合问题&＃xff0c;而本文的任务属于模态间对齐的问题。

由于在某些场景下&＃xff0c;我们无法获取可靠的待搜索对象的视觉信息。譬如在安防领域&＃xff0c;在得不到犯罪分子照片的情况下&＃xff0c;我们只能根据目击证人通过自然语言描述犯罪分子的外貌特征去在数据集中搜索对应的人。

又或者在搜索引擎中搜索图片时&＃xff0c;通常会遇到在不知道待搜索对象的确切信息的情况&＃xff0c;所以我们只能使用模糊的语言描述来作为搜索信息。

这就需要我们的算法和模型在训练中能对自然语言和视觉这两种信息进行恰当地处理&＃xff0c;以求在只有自然语言作为检索信息的情况下&＃xff0c;模型能够搜索到对应的行人图片。

相比直接用图片或视频作为搜索信息的传统行人re-id问题&＃xff0c;基于自然语言的跨模态行人re-id这项任务更加具有挑战性&＃xff0c;需要研究者同时对CV和NLP问题有着更深的理解。本文将以解读论文的方式和读者一同学习该领域的主流方法。

数据集

CUHK_PEDES

这项任务在CVPR 2017年大会中由商汤科技首次提出&＃xff08;Person Search with Natural Language Description&＃xff09;&＃xff0c;并构建了一个数据集CUHK_PEDES&＃xff0c;目前学术界能获取到的跨模态行人re-id数据集也只有这个。

其中训练集包含34054张图片, 11,003个id和68,126条文本描述&＃xff0c;验证集包含3,078张图片, 1,000个id和6,158条文本描述. 以及测试集包含3,074张图片, 1,000个id和6,156条文本描述。平均每张图片大概对应2条文本描述&＃xff0c;每条文本描述平均大约23个单词&＃xff0c;整个数据集共大约9&＃xff0c;408个不同的单词。

主流方法

GNA-RNN(CVPR 2017)

论文&＃xff1a;Person Search with Natural Language Description

代码&＃xff1a;github.com/ShuangLI59/P

该方法就出自CUHK_PEDES数据集的论文中&＃xff0c;论文基于在视觉与NLP相关交叉领域的一些工作&＃xff08;Image Captioning,Visual Question Answering等&＃xff09;搭建了几个baseline&＃xff0c;然后作者在亚马逊众包平台进行了user study来调研对于人类而言&＃xff0c;有哪些影响因素会对基于NLP的行人re-id结果产生影响&＃xff0c;作者提出了Recurrent Neural Network with Gated Nueral Attention(GNA-RNN)&＃xff0c;网络结构如下图所示。

整体框架由2个子网络组成&＃xff0c;分别为visual sub-network &＃xff08;VSN&＃xff09;和 language sub-network&＃xff08;LSN&＃xff09;。主体思路是将视觉子网络(VSN)输出的unit activation和文本子网络&＃xff08;LSN&＃xff09;对每个单词提取特征并输出的 word-level gate (类似每个word对于检索结果的影响的权重) 和 unit-level activation三者得到的特征进行element-wise乘积作为每个单词和图片的相关度&＃xff0c;最后把一个句子所有word对应的相关度求和得到文本和图片的相关度。

1.Visual Sub-Network

使用VGG-16作为图像的特征提取器&＃xff0c;在最后加了2个512维的全连接层&＃xff0c;最终产生的是一个512维的视觉向量&＃xff0c;也就是输出的Unit Activation。整个visual子网络先在CUHK_PEDES数据集上使用行人ID分类任务进行了预训练&＃xff0c;但是在跟LSN联合训练时只更新两个全连接层的参数以提高训练效率。这2个全连接层能在联合训练过程中学习到视觉单元的语义信息。

2.Language Sub-Network

Attention over Visual Units

对于一个description&＃xff0c;每个word先被编码成K维的one-hot vector&＃xff0c;K是vocabulary size。

给定一个描述语句&＃xff0c;有一个可学习&＃xff08;参数会更新&＃xff09;的word-fc1全连接层将word进行word embedding成一个feature&＃xff0c;WORD-LSTM每一步的输入是word-fc1和vis-fc2输出的两个feature进行cancat后的vector&＃xff0c;输出的hidden state依次经过带Relu层的全连接层attention-fc1和带softmax层的全连接层attention-fc2得到一个512维的Unit-level attention vector&＃xff0c;通过这一支路的attention机制&＃xff0c;获得了对VSN网络输出的512维度的visual unit vector的attention weights&＃xff0c;512个attention weights的加和为1&＃xff0c;通过训练能让网络学习并关注到视觉分支(VSN)中与检索任务更相关的视觉语义特征&＃xff08;也就是VSN输出的Visual Units&＃xff09;。下图就表示此时一个description中第t个word文本信息和经过attention后行人图片视觉信息的相关度at。

Word-level gates for Visual Units

由于文中user study发现&＃xff0c;在亚马逊众包平台对该任务使用人工检索&＃xff0c;并按照词性&＃xff08;名词、动词、形容词等&＃xff09;对description进行化简&＃xff0c;发现每个word对检索的重要程度不一样&＃xff08;名词>形容词>动词&＃xff09;&＃xff0c;因此作者认为每个word对相似度的贡献程度应该也要赋予不同的权值。

所以在WORD-LSTM输出的hidden state经过一个带sigmoid的全连接层gate-fc1得到一个标量值作为word的权值gt&＃xff0c;gt就代表了每个word对相似度的贡献程度&＃xff0c;类似于对word使用了一次attention机制。因此&＃xff0c;最终一个description中第t个word文本信息和行人图片视觉信息的相关度就可以表示为下图。

最后一个description中所有的word对应的affinity求和就得到description和行人图片的相关度。

3.Training Scheme

除了上述提到的VGG-16骨架使用行人ID数据进行预训练后冻结权重外&＃xff0c;GNA-RNN使用batch SGD进行端到端训练&＃xff0c;将训练集的文本图片对随机打乱&＃xff0c;batch设置为128&＃xff0c;每个batch正负样本比例1:3&＃xff0c;使用交叉熵损失进行训练。其中当文本description与行人图片是相关时ground truth标签为1&＃xff0c;否则为0。

4.实验结果

文中对GNA-RNN与文中构建的一些baseline进行了性能对比&＃xff0c;并对是否需要对VGG-16进行pretrain&＃xff0c;是否添加word-level gates&＃xff0c;是否进行visual unit-level attention以及对visual units的维度对性能的影响进行了ablation study。

Dual Path CNN

论文&＃xff1a;Dual-Path Convolutional Image-Text Embedding with Instance Loss

代码&＃xff1a;github.com/layumi/Image

这篇文章的motivation在于&＃xff0c;作者希望解决一个instance-level细粒度的retrieval&＃xff0c;而非class-level或category-level相对更粗粒度的retrieval&＃xff0c;这就希望网络能提取到更detail的视觉和文本特征。为此&＃xff0c;文中提出了以下贡献点&＃xff1a;

• 除了使用在跨模态检索中work较好的Ranking Loss外&＃xff0c;文中提出的Instance Loss进行联合训练&＃xff0c;也就是把每个行人ID和相关的Text Descriptions看作一类&＃xff0c;进行softmax分类&＃xff0c;这样获得更加精细的约束&＃xff0c;以使网络学到更加细粒度的特征。

• 与常见的RNN&＃43;CNN结构不同的是&＃xff0c;文中采用了双路CNN结构来分别提取文本和视觉特征&＃xff0c;通过并行训练&＃xff0c;来fine-tune整个网络。

1.网络结构

从上图可以看出&＃xff0c;文中提出的网络结构非常简单明了&＃xff0c;没有attention等“高大上”的机制&＃xff0c;直接用2路CNN分别提取Image和Text的特征&＃xff0c;最后接了2个全连接层分别得到2048维的视觉特征和文本特征&＃xff0c;其中最后一个全连接层是权重共享的以使网络在权重更新中让Text和Image映射到同一个语义特征空间&＃xff0c;Text CNN第一个conv层的权重使用了word2vec来初始化&＃xff0c;结合Instance Loss和Ranking Loss来对整个网络进行end-to-end训练。

2.损失函数

Ranking Loss

Ranking Loss在检索问题中使用较多&＃xff0c;通常使用cosine similarity来表示两个模态间的相似度&＃xff0c;取值在[-1,1]&＃xff0c;值越大表示2个模态间的相似度越高&＃xff0c;反之越低。为了更好地拉近两个模态间的相似度&＃xff0c;Ranking Loss其实与Triplet Loss非常相似&＃xff0c;同样是有Anchor和Negative等概念。由于存在2个模态的特征&＃xff0c;因此输入变成了四元组(Ia, Ta, In, Tn)&＃xff0c;Ia和Ta表示Image Anchor和Text Anchor&＃xff0c;也就是一组Image-Text pair正样本&＃xff0c;而In和Tn则分别代表了2个模态的负样本。为此&＃xff0c;Ranking Loss就可以表达为如下式子&＃xff1a;

其中α是metric Learning的margin。通过训练&＃xff0c;可以增大Image Anchor和text Anchor在特征空间上的cosine similarity&＃xff0c;同时减小Image Anchor和Text Negative以及Text Anchor和Image Negative之间的cosine similarity。

Instance Loss

如上文所说&＃xff0c;把每个行人ID和所有其相关的Text Descriptions看作一类&＃xff0c;进行softmax分类&＃xff0c;这样获得更加精细的约束&＃xff0c;以使网络学到更加细粒度的特征。为了使网络在权重更新中让Text和Image的特征映射到同一个语义特征空间&＃xff0c;最后一个全连接层是权重共享的。

Total Loss

把Ranking Loss和Instance Loss作加权求和&＃xff0c;得到最终的Loss。

4.训练策略

网络采用2步(2-stage)训练方法对网络进行端到端训练。

Stage 1

对Image CNN采用ImageNet预训练权重初始化并进行冻结&＃xff0c;而Text CNN除了第一个conv层使用word2vec作为权重初始化之外&＃xff0c;其他层使用随机初始化&＃xff0c;然后仅仅使用Instance Loss对整个网络进行fine tune&＃xff0c;文中称这么做的原因是Text CNN支路基本上是train from scratch&＃xff0c;如果对2个支路同时训练&＃xff0c;由于最后一个全连接层是权重共享的&＃xff0c;Text CNN支路可能会对Image CNN支路产生妥协&＃xff08;compromise&＃xff09;。

并且此时仅使用Instance Loss对网络进行训练后可以为后续的Ranking Loss训练获得较好的初始化&＃xff0c;因为此时相当于最后一个全连接层对每个Image-Text pair都有了一个类中心W&＃xff0c;这样能让后续Ranking Loss进行Metric Learning时更好收敛&＃xff0c;如下图所示。

Stage 2

在Stage 1收敛后&＃xff0c;开始进行Stage 2的训练&＃xff0c;也就是加入Ranking Loss&＃xff0c;让Ranking Loss和Instance Loss一同进行训练 (λ1 &＃61; 1, λ2 &＃61; 1, λ3 &＃61; 1)&＃xff0c;这时不再对Image CNN的权重进行冻结&＃xff0c;而是对整个网络进行端到端的fine-tuning&＃xff0c;最后让网络收敛到一个更好的性能。

5.实验结果

除了CUHK_PEDES数据集&＃xff0c;文中还在MSCOCO和Flickr30k数据集上进行了实验&＃xff0c;由于本文主要关注跨模态行人re-id&＃xff0c;故这里主要对CUHK_PEDES数据集的实验性能进行展示。

文中还对是否更深的Text CNN能获取更好的性能&＃xff0c;是否无监督的聚类方法(如K means)与Instance Loss能获得类似的效果&＃xff0c;Text CNN首个conv层是否使用word2vec能获得更好的性能&＃xff0c;是否进行Text的Position Shift&＃xff08;文中前面随机空几个位置&＃xff09;能获得更好的性能等等做了详尽的Abalation Study&＃xff0c;感兴趣的同学可查看原文。

GALM

论文&＃xff1a;Pose-Guided Joint Global and Attentive Local Matching Network for Text-Based Person Search

这篇文章在Dual CNN基础上进行了系列完善&＃xff0c;主要的贡献点有&＃xff1a;

• 引入了人体姿态作为监督信息&＃xff0c;并结合名词描述特征和视觉特征获得Pose attention相关的特征图&＃xff0c;并可视化验证其效果。

• 对Visual CNN获得的特征应用hard attention机制。

1.网络结构

乍一看网络有些复杂&＃xff0c;网络主要分为了3个部分&＃xff0c;分别是Global Image-Text Matching&＃xff0c;Uni-Local Image-Text Matching和Bi-Local Image-Text Matching。下面将具体介绍网络的各模块。

2.特征提取

视觉特征

文中观点认为&＃xff0c;人体姿态点与人体的身体部分高度相关&＃xff0c;获取并利用行人的人体姿态点能监督跨模态的局部信息matching&＃xff0c;网络中的Pose Estimator采用实时高精度的PAF算法[3]&＃xff0c;并在AI challenge上重新训练&＃xff0c;最终对每个行人图片获得14个confidence maps。

这14个confidence maps有2个用途&＃xff0c;一是和原始行人3通道RGB图片进行concat获得一个17通道的maps&＃xff0c;用于增强视觉信息的表达&＃xff0c;然后再输入到Visual CNN&＃xff08;VGG-16&＃xff0c;ResNet-50等&＃xff09;中进行提取特征&＃xff1b;另外就是用于Bi-Local Matching支路来学习文本名词短语和视觉区域的潜在的语义匹配。

图片样本经过Visual CNN后输出得到一个12x4x512维的特征图&＃xff0c;然后对第一维的shape切成6份并对每份求均值得到一个6x4x512维的特征图&＃xff0c;这就对应着原图的6x4&＃61;24个local视觉特征&＃xff0c;每个local视觉特征用一个512维的vector表示。对第二维进行均值池化可以获得global的视觉特征表达。

文本特征

使用one-hot vector来表示每个单词tj&＃xff0c;再用一个Wt来把单词嵌入到一个特征空间并表示为xj。

然后使用一个bi-LSTM来学习整个text description所有单词的特征表达

最后把首尾两个隐层空间表达来作为整个text description的特征。

除此之外&＃xff0c;作者还使用了NLTK工具包来把text description中的名词短语noun phrases提取出来&＃xff0c;并使用上述权重共享的Bi-LSTM来提取每个noun phrase的特征。

3.网络细节

Global Image-Text Matching

经过上述方式分别提取出文本和global的视觉特征后&＃xff0c;再分别使用一个映射权重能让二者映射到同一语义特征空间。

然后简单粗暴&＃xff0c;直接对上述二者计算cosine similarity&＃xff0c;使用Ranking Loss和ID Loss&＃xff08;就是Dual CNN的Instance Loss&＃xff09;进行约束并训练。

Uni-Local Image-Text Matching

首先&＃xff0c;与上述方式类似&＃xff0c;对24个Local的视觉特征也使用一个映射权重能让local的视觉特征和文本Text特征映射到同一语义特征空间。

然后就可以计算Local Image-Text之间的cosine similarity。

接着使用了一个hard attention的机制&＃xff0c;对每个Local Image-Text的similarity计算一个权重q&＃xff0c;并设置一个attention阈值r&＃xff0c;把所有大于阈值r的Local similarity求和获得Uni-Local Image-Text similarity。

Bi-Local Image-Text Matching

作者认为&＃xff0c;一个noun phrase应该对应着图片的某一部分&＃xff0c;作者希望网络能够学习到这二者的语义匹配以获得更精准的image-text matching性能。考虑到人体关键点与人体部分息息相关&＃xff0c;因此作者选用了人体关键点来监督noun phrase和image regions的matching。把前面Pose Estimator获得的14个keyPoints分为了人体的6个部分&＃xff1a;head, upper torso, arm, hand, leg, foot&＃xff0c;显然这6者互相之间keyPoints会存在重叠部分。然后把这6部分的confident maps分别使用一个包含4个卷积层和1个全连接层的Pose CNN映射为一个b维的vector。以头部部分得到的向量p1举例&＃xff0c;计算一次p1和noun phrase的cosine similarity&＃xff0c;然后根据类似softmax的公式获取相应的attention weight&＃xff0c;最终可以得到对应noun phrase经过pose attented的表达式为&＃xff1a;

同理也可以获得Image经过pose attented后的特征表达&＃xff0c;因此最终得到的Bi-Local Image-Text similarity的表达式为&＃xff1a;

训练GALM

可以看到&＃xff0c;对于每个子网络&＃xff0c;都使用了Ranking Loss&＃43;ID Loss的模式&＃xff0c;这与前面的Dual CNN相类似。

因此Global分支的loss可以表示为下式&＃xff0c;并且Uni-Local Image-Text Matching和Bi-Local Image-Text Matching分支均是同理&＃xff0c;这里省略。

除此之外&＃xff0c;还在Bi-Local Image-Text Matching分支中增加了一个part loss来对6种pi进行分类&＃xff0c;确保不同的p能关注到image和text的不同部分。

综上所述&＃xff0c;Total Loss就可以表示为&＃xff1a;

4.实验结果

在CUHK-PEDES数据集上进行实验&＃xff0c;可见该网络不论骨架采用VGG-16还是ResNet-50&＃xff0c;都达到了同水平的SOTA性能。

文中还对分别添加各子模块网络的作用进行了Ablation Study。

对文中的visual hard attention的regions以及pose-guided attention的attention map进行了可视化&＃xff0c;可见经过pose的监督能让visual和noun prase分支都attend到更具可解释性的human body part以及名词上。

小结

本文通过梳理论文的方式为读者逐篇讲解了目前基于自然语言的跨模态行人re-id相关的SOTA方法&＃xff0c;作为一个跨模态检索中比较细粒度的子任务&＃xff0c;除了最初提出的GNA-RNN使用CE Loss&＃xff0c;后续的方法都用上了行人Re-Id常见的类似Triplet Loss的Ranking Loss&＃xff0c;并且逐渐从全局模态信息对齐转变成局部模态信息对齐&＃xff0c;包括attention机制&＃xff0c;利用人体姿态信息加强监督等等。如有错漏或不足&＃xff0c;希望读者们多多指导。下一部分我们将继续学习相关领域的SOTA方法&＃xff0c;包括&＃xff1a;

• Identity-aware textual-visual matching with latent co-attention(ICCV 2017)

• Improving Text-based Person Search by Spatial Matching and Adaptive Threshold(WACV 2018)

• ref&＃61;"arxiv.org/abs/1808.0157">Improving deep visual representation for person re-identification by global and local image-language association(ECCV 2018)

• ......

目前正在进行的WIDER Face & Person Challenge 2019其中Track 4就是Person Search by Language&＃xff0c;欢迎小伙伴继续关注follow&＃xff5e;

参考文献

• [1]简书&＃xff1a;Person Search with natural language

• [2]知乎&＃xff1a;用CNN分100,000类图像

• [3]Z. Cao, T. Simon, S. E. Wei, and Y. Sheikh. Realtime multi- person 2d pose estimation using part affinity fields. In IEEE Conference on Computer Vision and Pattern Recognition, 2017.

• [4]知乎&＃xff1a;以人为本的计算机视觉研究&＃xff0c;WIDER Challenge 2019

Re-id专业交流群

关注最新最前沿的Re-id技术&＃xff0c;欢迎加入52CV行人-reid专业交流群&＃xff0c;扫码添加CV君拉你入群&＃xff08;如已为CV君好友&＃xff0c;请直接私信&＃xff0c;不必重复添加&＃xff09;&＃xff0c;

&＃xff08;请务必注明:reid&＃xff09;&＃xff1a;

喜欢在QQ交流的童鞋可以加52CV官方QQ群&＃xff1a;702781905。

&＃xff08;不会时时在线&＃xff0c;如果没能及时通过还请见谅&＃xff09;

长按关注我爱计算机视觉