视觉Transformer综述

视觉Transformer近年来在计算机视觉领域取得了显著成就，本文旨在全面回顾这一技术的发展历程及其在不同任务中的应用。首先，我们将探讨Transformer如何从自然语言处理领域跨界至计算机视觉，并分析其在捕捉长距离依赖关系方面的独特优势。随后，文章将详细介绍视觉Transformer在图像分类、目标检测和图像分割三大核心任务中的具体应用和创新。

一、视觉Transformer的应用背景

Transformer最初是在自然语言处理（NLP）领域取得突破的，例如GPT和BERT等模型。这些模型通过自注意力机制（self-attention）有效地捕捉了文本中的长距离依赖关系。受此启发，研究者开始探索将Transformer应用于计算机视觉任务，特别是图像分类。早期的研究表明，通过适当的设计，Transformer可以在图像分类任务中超越传统的卷积神经网络（CNN）。

二、原始Transformer架构

原始Transformer架构主要用于处理序列任务，其核心组件是自注意力机制（self-attention）。自注意力机制通过计算查询（Q）、键（K）和值（V）之间的相关性矩阵，来捕捉输入序列中的依赖关系。具体来说，输入的特征图被转换为Q、K和V，通过点积操作生成相关性矩阵，再经过softmax归一化和缩放操作，最终得到加权后的V作为输出。

为了处理输入序列的位置信息，Transformer引入了位置编码（position encoding），通常使用正弦和余弦函数来实现。这种编码方式确保了模型能够区分不同位置的输入。

三、分类中的Transformer

在图像分类任务中，Vision Transformer (ViT) 是最早将Transformer成功应用于图像分类的模型之一。ViT将图像划分为多个patch，并将每个patch映射为一个patch embedding，再加上位置编码，输入到Transformer的编码器中。ViT在大规模数据集上的表现超过了当时的CNN模型。

为了进一步提升Transformer在图像分类中的性能，研究者们提出了多种改进方法，包括：

• CNN增强Transformer：通过引入卷积层来增强Transformer的局部建模能力，例如VTs和DeiT。


• 局部注意力增强Transformer：重新设计patch和注意力块，以提高Transformer的局部建模能力，如TNT和Swin Transformer。


• 层次化Transformer：采用金字塔结构来处理多尺度特征，如PVT和Swin Transformer。


• 深度Transformer：通过增加模型深度来提升特征表达能力，如CaiT和DeepViT。

四、检测中的Transformer

在目标检测任务中，Transformer被广泛应用于检测器的neck部分和backbone部分。常见的应用包括：

• Transformer Neck：DETR是首个使用Transformer作为neck的检测器，通过引入object query和set prediction机制，实现了端到端的目标检测。后续的工作如Deformable DETR和Conditional DETR进一步优化了DETR的性能。


• Transformer Backbone：许多用于图像分类的Transformer backbone可以直接应用于目标检测任务，如PVT和Swin Transformer。这些模型通过多尺度特征和局部增强结构，显著提升了检测器的性能。

五、分割中的Transformer

在图像分割任务中，Transformer主要通过两种方式应用：

• Patch-based Transformer：将图像划分为多个patch，输入到Transformer中进行全局特征建模。例如，SETR和Segformer在语义分割任务中取得了显著效果。


• Query-based Transformer：使用可学习的query来聚合每个patch的信息，移除手工特征和后处理。例如，Panoptic DETR和QueryInst在全景分割和实例分割任务中表现出色。

六、总结

本文系统地回顾了视觉Transformer在计算机视觉领域的应用，从原始Transformer到各类增强版模型，详细介绍了其在图像分类、目标检测和图像分割任务中的最新进展。尽管Transformer在性能上取得了显著提升，但其计算复杂度和内存消耗仍然是需要解决的关键问题。未来的研究方向可能包括进一步优化Transformer的计算效率，以及探索更多任务之间的统一框架。