作者:sumer | 来源:互联网 | 2023-10-12 18:35
Capsule-basedObjectTrackingwithNaturalLanguageSpecification2021-12-18 19:28:39Paper: https
Capsule-based Object Tracking with Natural Language Specification
2021-12-18 19:28:39
Paper: https://dl.acm.org/doi/abs/10.1145/3474085.3475349
1. Background and Motivation:
本文提出一种 tracking-by-language 的算法,其中,visual encoder 用的是 Capsule network;然后将 text 和 img 交互。
2. Framework:
2.1. Visual and Textual Encoders
给定图像,作者利用 VGG 网络提取 conv4-3, conv5-3 的特征;给定文本,作者利用 word2vec model 将每一个单词映射为 300-D 的向量;然后将这些向量收集起来,并输入到 3个并行的卷积层中,卷积核的大小分别为 2, 3, 4。通过这种方式,尺寸为 300维的文本表示就可以通过 max-pooling layer 得到。给定视觉和文本特征,作者采用 matrix-capsule 的方法,进行 visual 和 texture capsule 的构建。 每一个 capsule 通过一个 pose matrix 和 activation value 进行构建。
2.2. Visual and Textual Capsules Construction
Pose matrix. 作者利用 1*1 卷积,将 36*36*128 的特征图映射为 36*36*64, 然后将得到的特征图进行 reshape,得到 36*36*8*8, 表示该矩阵由 8 个 8-D 的向量组成;
Activation Values. 利用 1*1 卷积将特征图映射为 36*36*8,以匹配胶囊类型的数目。通过增加一个维度,作者将其表达为 36*36*8*1.
Capsule Construction. 通过将这两个东西,组合到一起,得到一个 36*36*8*9 的特征。
由于文本特征是一个向量,作者直接用一个 FC 来产生 8 pose matrices 和 8 activations。
2.3. Visual-textural Routing Module
如上图所示,给定 visual capsule,作者考虑到多尺度的信息,将其分别与 textual capsule 进行路由交互,然后融合这三路特征,得到 visual-textual-capsules。然后对其进行 resize,输入到文本解码器中,进行文本的重构。
2.4. Textural-visual Routing Module
如上图所示,给定 visual 和 textual capsule,作者首先将文本的特征进行重复堆叠,得到和 visual capsule 相同维度的特征。然后进行路由交互,最终也进行重构。
2.5 Decoder
作者将上述两个分支的结果,进行拼接。然后将其进行 resize,然后利用反卷积网络得到 288*288*1 的响应图。这里,还用到了 parameterized skip connections 来得到更加精确的预测。
2.6 Optimization and Tracking
作者将上述两个重构损失和响应图损失一起进行优化。
3. Experiments
Stay Hungry,Stay Foolish ...