热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

CapsulebasedObjectTrackingwithNaturalLanguageSpecification

Capsule-basedObjectTrackingwithNaturalLanguageSpecification2021-12-18 19:28:39Paper: https

Capsule-based Object Tracking with Natural Language Specification

2021-12-18 19:28:39

Paper: https://dl.acm.org/doi/abs/10.1145/3474085.3475349 

 

1. Background and Motivation

本文提出一种 tracking-by-language 的算法,其中,visual encoder  用的是 Capsule network;然后将 text 和 img 交互。

 

2. Framework:

 

2.1. Visual and Textual Encoders

  给定图像,作者利用 VGG 网络提取 conv4-3, conv5-3 的特征;给定文本,作者利用 word2vec model 将每一个单词映射为 300-D 的向量;然后将这些向量收集起来,并输入到 3个并行的卷积层中,卷积核的大小分别为 2, 3, 4。通过这种方式,尺寸为 300维的文本表示就可以通过 max-pooling layer 得到。给定视觉和文本特征,作者采用 matrix-capsule 的方法,进行 visual 和 texture capsule 的构建。 每一个 capsule 通过一个 pose matrix 和 activation value 进行构建。 

 

2.2. Visual and Textual Capsules Construction 

Pose matrix. 作者利用 1*1 卷积,将 36*36*128 的特征图映射为 36*36*64, 然后将得到的特征图进行 reshape,得到 36*36*8*8, 表示该矩阵由 8 个 8-D 的向量组成;

Activation Values. 利用 1*1 卷积将特征图映射为 36*36*8,以匹配胶囊类型的数目。通过增加一个维度,作者将其表达为 36*36*8*1. 

Capsule Construction. 通过将这两个东西,组合到一起,得到一个 36*36*8*9 的特征。

 

由于文本特征是一个向量,作者直接用一个 FC 来产生 8 pose matrices 和 8 activations。

 

2.3. Visual-textural Routing Module 

 

 

 

如上图所示,给定 visual capsule,作者考虑到多尺度的信息,将其分别与 textual capsule 进行路由交互,然后融合这三路特征,得到 visual-textual-capsules。然后对其进行 resize,输入到文本解码器中,进行文本的重构。

 

2.4. Textural-visual Routing Module 

 

 

 

如上图所示,给定 visual 和 textual capsule,作者首先将文本的特征进行重复堆叠,得到和 visual capsule 相同维度的特征。然后进行路由交互,最终也进行重构。

 

2.5 Decoder 

作者将上述两个分支的结果,进行拼接。然后将其进行 resize,然后利用反卷积网络得到 288*288*1 的响应图。这里,还用到了 parameterized skip connections 来得到更加精确的预测。

 

2.6 Optimization and Tracking 

作者将上述两个重构损失和响应图损失一起进行优化。

 

3. Experiments 

 

 

 

 

 

  

 

Stay Hungry,Stay Foolish ...



推荐阅读
  • ArcBlock 发布 ABT 节点 1.0.31 版本更新
    2020年11月9日,ArcBlock 区块链基础平台发布了 ABT 节点开发平台的1.0.31版本更新,此次更新带来了多项功能增强与性能优化。 ... [详细]
  • 在开发过程中,有时需要提供用户创建数据库的功能。本文介绍了如何利用 .NET 和 ADOX 在应用程序中实现创建 Access 数据库,并详细说明了创建数据库及表的具体步骤。 ... [详细]
  • 视觉Transformer综述
    本文综述了视觉Transformer在计算机视觉领域的应用,从原始Transformer出发,详细介绍了其在图像分类、目标检测和图像分割等任务中的最新进展。文章不仅涵盖了基础的Transformer架构,还深入探讨了各类增强版Transformer模型的设计思路和技术细节。 ... [详细]
  • 基于SSM框架的在线考试系统:随机组卷功能详解
    本文深入探讨了基于SSM(Spring, Spring MVC, MyBatis)框架构建的在线考试系统中,随机组卷功能的设计与实现方法。 ... [详细]
  • 深入解析 C++ 中的 String 和 Vector
    本文详细介绍了 C++ 编程语言中 String 和 Vector 的使用方法及特性,旨在帮助开发者更好地理解和应用这两个重要的容器。 ... [详细]
  • 本文详细介绍了如何在 Ubuntu 14.04 系统上搭建仅使用 CPU 的 Caffe 深度学习框架,包括环境准备、依赖安装及编译过程。 ... [详细]
  • 本文探讨了异步编程的发展历程,从最初的AJAX异步回调到现代的Promise、Generator+Co以及Async/Await等技术。文章详细分析了Promise的工作原理及其源码实现,帮助开发者更好地理解和使用这一重要工具。 ... [详细]
  • 利用Node.js实现PSD文件的高效切图
    本文介绍了如何通过Node.js及其psd2json模块,快速实现PSD文件的自动化切图过程,以适应项目中频繁的界面更新需求。此方法不仅提高了工作效率,还简化了从设计稿到实际应用的转换流程。 ... [详细]
  • 本文详细介绍如何在 Apache 中设置虚拟主机,包括基本配置和高级设置,帮助用户更好地理解和使用虚拟主机功能。 ... [详细]
  • 本文探讨了Python类型注解使用率低下的原因,主要归结于历史背景和投资回报率(ROI)的考量。文章不仅分析了类型注解的实际效用,还回顾了Python类型注解的发展历程。 ... [详细]
  • 吴石访谈:腾讯安全科恩实验室如何引领物联网安全研究
    腾讯安全科恩实验室曾两次成功破解特斯拉自动驾驶系统,并远程控制汽车,展示了其在汽车安全领域的强大实力。近日,该实验室负责人吴石接受了InfoQ的专访,详细介绍了团队未来的重点方向——物联网安全。 ... [详细]
  • 本文详细介绍了如何在最新版本的Xcode中重命名iOS项目,包括项目名称、应用名称及相关的文件夹和配置文件。通过本文,开发者可以轻松完成项目的重命名工作。 ... [详细]
  • 解决Win10 1709版本文件共享安全警告问题
    每当Windows 10发布新版本时,由于兼容性问题往往会出现各种故障。近期,一些用户在升级至1709版本后遇到了无法访问共享文件夹的问题,系统提示‘文件共享不安全,无法连接’。本文将提供多种解决方案,帮助您轻松解决这一难题。 ... [详细]
  • 在测试软件或进行系统维护时,有时会遇到电脑蓝屏的情况,即便使用了沙盒环境也无法完全避免。本文将详细介绍常见的蓝屏错误代码及其解决方案,帮助用户快速定位并解决问题。 ... [详细]
  • hlg_oj_1116_选美大赛这题是最长子序列,然后再求出路径就可以了。开始写的比较乱,用数组什么的,后来用了指针就好办了。现在把代码贴 ... [详细]
author-avatar
sumer
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有