热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

CapsulebasedObjectTrackingwithNaturalLanguageSpecification

Capsule-basedObjectTrackingwithNaturalLanguageSpecification2021-12-18 19:28:39Paper: https

Capsule-based Object Tracking with Natural Language Specification

2021-12-18 19:28:39

Paper: https://dl.acm.org/doi/abs/10.1145/3474085.3475349 

 

1. Background and Motivation

本文提出一种 tracking-by-language 的算法,其中,visual encoder  用的是 Capsule network;然后将 text 和 img 交互。

 

2. Framework:

 

2.1. Visual and Textual Encoders

  给定图像,作者利用 VGG 网络提取 conv4-3, conv5-3 的特征;给定文本,作者利用 word2vec model 将每一个单词映射为 300-D 的向量;然后将这些向量收集起来,并输入到 3个并行的卷积层中,卷积核的大小分别为 2, 3, 4。通过这种方式,尺寸为 300维的文本表示就可以通过 max-pooling layer 得到。给定视觉和文本特征,作者采用 matrix-capsule 的方法,进行 visual 和 texture capsule 的构建。 每一个 capsule 通过一个 pose matrix 和 activation value 进行构建。 

 

2.2. Visual and Textual Capsules Construction 

Pose matrix. 作者利用 1*1 卷积,将 36*36*128 的特征图映射为 36*36*64, 然后将得到的特征图进行 reshape,得到 36*36*8*8, 表示该矩阵由 8 个 8-D 的向量组成;

Activation Values. 利用 1*1 卷积将特征图映射为 36*36*8,以匹配胶囊类型的数目。通过增加一个维度,作者将其表达为 36*36*8*1. 

Capsule Construction. 通过将这两个东西,组合到一起,得到一个 36*36*8*9 的特征。

 

由于文本特征是一个向量,作者直接用一个 FC 来产生 8 pose matrices 和 8 activations。

 

2.3. Visual-textural Routing Module 

 

 

 

如上图所示,给定 visual capsule,作者考虑到多尺度的信息,将其分别与 textual capsule 进行路由交互,然后融合这三路特征,得到 visual-textual-capsules。然后对其进行 resize,输入到文本解码器中,进行文本的重构。

 

2.4. Textural-visual Routing Module 

 

 

 

如上图所示,给定 visual 和 textual capsule,作者首先将文本的特征进行重复堆叠,得到和 visual capsule 相同维度的特征。然后进行路由交互,最终也进行重构。

 

2.5 Decoder 

作者将上述两个分支的结果,进行拼接。然后将其进行 resize,然后利用反卷积网络得到 288*288*1 的响应图。这里,还用到了 parameterized skip connections 来得到更加精确的预测。

 

2.6 Optimization and Tracking 

作者将上述两个重构损失和响应图损失一起进行优化。

 

3. Experiments 

 

 

 

 

 

  

 

Stay Hungry,Stay Foolish ...



推荐阅读
author-avatar
sumer
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有