深度学习中的VisionTransformer(ViT)详解

作者：多米音乐_34492579 | 来源：互联网 | 2023-12-12 15:26

本文详细介绍了深度学习中的VisionTransformer(ViT)方法。首先介绍了相关工作和ViT的基本原理，包括图像块嵌入、可学习的嵌入、位置嵌入和Transformer编码器等。接着讨论了ViT的张量维度变化、归纳偏置与混合架构、微调及更高分辨率等方面。最后给出了实验结果和相关代码的链接。本文的研究表明，对于CV任务，直接应用纯Transformer架构于图像块序列是可行的，无需依赖于卷积网络。

摘要

一、介绍

二、相关工作

三、方法

3.1 图像块嵌入 (Patch Embeddings)

3.2 可学习的嵌入 (Learnable Embedding)

3.3 位置嵌入 (Position Embeddings)

3.4 Transformer 编码器

3.5 ViT 张量维度变化举例

3.6 归纳偏置与混合架构

3.7 微调及更高分辨率

3.8 超参数

四、实验

论文&＃xff1a;https://arxiv.org/abs/2010.11929
代码&＃xff1a;GitHub - google-research/vision_transformer
timm&＃xff1a;https://github.com/rwightman/pytorch-image-models/blob/master/timm/models/vision_transformer.py

摘要
虽然 Transformer 架构已成为 NLP 任务的事实标准&＃xff0c;但它在 CV 中的应用仍然有限。在视觉上&＃xff0c;注意力要么与卷积网络结合使用&＃xff0c;要么用于替换卷积网络的某些组件&＃xff0c;同时保持其整体结构。我们证明了这种对 CNNs 的依赖是不必要的&＃xff0c;直接应用于图像块序列 (sequences of image patches) 的纯 Transformer 可以很好地执行图像分类任务。当对大量数据进行预训练并迁移到多个中小型图像识别基准时 (ImageNet、CIFAR-100、VTAB 等)&＃xff0c;与 SOTA 的 CNN 相比&＃xff0c;Vision Transformer (ViT) 可获得更优异的结果&＃xff0c;同时仅需更少的训练资源。

一、介绍
        基于自注意力的架构&＃xff0c;尤其是 Transformer&＃xff0c;已成为 NLP 中的首选模型。主要方法是在大型文本语料库上进行预训练&＃xff0c;然后在较小而特定于任务的数据集上进行微调。由于 Transformers 的计算效率和可扩展性&＃xff0c;训练具有超过 100B 个参数的、前所未有的模型成为了可能。随着模型和数据集的增长&＃xff0c;仍未表现出饱和的迹象。
        然而&＃xff0c;在 CV 中&＃xff0c;卷积架构仍然占主导地位。受到 NLP 成功的启发&＃xff0c;多项工作尝试将类似 CNN 的架构与自注意力相结合&＃xff0c;有些工作完全取代了卷积。后一种模型虽然理论上有效&＃xff0c;但由于使用了特定的注意力模式&＃xff0c;尚未在现代硬件加速器上有效地扩展。因此&＃xff0c;在大规模图像识别中&＃xff0c;经典的类 ResNet 架构仍是最先进的。
        受 NLP 中 Transformer 成功放缩 (scaling) 的启发&＃xff0c;我们尝试将标准 Transformer 直接应用于图像&＃xff0c;并尽可能减少修改。为此&＃xff0c;我们将图像拆分为块 (patch)&＃xff0c;并将这些图像块的线性嵌入序列作为 Transformer 的输入。图像块 image patches 的处理方式与 NLP 应用中的标记 tokens (单词 words) 相同。我们以有监督方式训练图像分类模型。
        当在没有强正则化的中型数据集&＃xff08;如 ImageNet&＃xff09;上进行训练时&＃xff0c;这些模型产生的准确率比同等大小的 ResNet 低几个百分点。这种看似令人沮丧的结果可能是意料之中的&＃xff1a;Transformers 缺乏 CNN 固有的一些归纳偏置 (inductive biases)&＃xff0c;例如平移等效性和局部性 (translation equivariance and locality)&＃xff0c;因此在数据量不足的情况下训练时不能很好地泛化。
        但是&＃xff0c;如果模型在更大的数据集 (14M-300M 图像) 上训练&＃xff0c;情况就会发生变化。我们发现大规模训练胜过归纳偏置。我们的 Vision Transformer (ViT) 在以足够的规模进行预训练并迁移到具有较少数据点的任务时获得了出色结果。当在公共 ImageNet-21k 数据集或内部 JFT-300M 数据集上进行预训练时&＃xff0c;ViT 在多个图像识别基准上接近或击败了最先进的技术。特别是&＃xff0c;最佳模型在 ImageNet 上的准确率达到 88.55%&＃xff0c;在 ImageNet-RealL 上达到 90.72%&＃xff0c;在 CIFAR-100 上达到 94.55%&＃xff0c;在 19 个任务的 VTAB 上达到 77.63%。

二、相关工作
        Transformers 是由 Vaswani 等人提出的机器翻译方法&＃xff0c;并已成为许多 NLP 任务中最先进的方法。基于大型 Transformers 的模型通常在大型语料库上进行预训练&＃xff0c;然后根据手头的任务进行微调&＃xff1a;BERT 使用去噪自监督预训练任务&＃xff0c;而 GPT 工作线使用语言建模作为其预训练任务。

        应用于图像的简单自注意力要求每个像素关注所有其他像素。由于像素数量的二次方成本&＃xff0c;其无法缩放到符合实际的输入尺寸。因此&＃xff0c;曾经有研究者尝试过几种近似方法以便于在图像处理中应用 Transformer。Parmar 等人只在每个 query 像素的局部邻域而非全局应用自注意力&＃xff0c;这种局部多头点积自注意力块完全可以代替卷积。在另一种工作中&＃xff0c;稀疏 Transformer 采用可放缩的全局自注意力&＃xff0c;以便适用于图像。衡量注意力的另一种方法是将其应用于大小不同的块中&＃xff0c;在极端情况下仅沿单个轴。许多这种特殊的注意力架构在 CV 任务上显示出很好的效果&＃xff0c;但是需要在硬件加速器上有效地实现复杂的工程。

        与我们最相关的是 Cordonnier 等人的模型&＃xff0c;该模型从输入图像中提取 2×2 大小的块&＃xff0c;并在顶部应用完全的自注意力。该模型与ViT 非常相似&＃xff0c;但我们的工作进一步证明了大规模的预训练使普通的 Transformers 能够与 SOTA 的 CNNs 竞争 (甚至更优)。此外&＃xff0c;Cordonnier 等人使用 2×2 像素的小块&＃xff0c;使模型只适用于小分辨率图像&＃xff0c;而我们也能处理中分辨率图像。

        将 CNN 与自注意力的形式相结合有很多有趣点&＃xff0c;例如增强用于图像分类的特征图&＃xff0c;或使用自注意力进一步处理CNN 的输出&＃xff0c;如用于目标检测、视频处理、图像分类&＃xff0c;无监督目标发现&＃xff0c;或统一文本视觉任务。

        另一个最近的相关模型是图像 GPT (iGPT)&＃xff0c;它在降低图像分辨率和颜色空间后对图像像素应用 Transformers。该模型以无监督的方式作为生成模型进行训练&＃xff0c;然后可以对结果表示进行微调或线性探测以提高分类性能&＃xff0c;在 ImageNet 上达到 72% 的最大精度。

        我们的工作增加了在比标准 ImageNet 数据集更大尺度上探索图像识别的论文的数量。使用额外的数据源可以在标准基准上取得 SOTA 的成果。此外&＃xff0c;Sun 等人研究了 CNN 性能如何随数据集大小而变化&＃xff0c;Kolesnikov、Djolonga 等人从 ImageNet-21k 和JFT-300M 等大规模数据集对 CNN 迁移学习进行了实证研究。我们也关注后两个数据集&＃xff0c;但是是训练 Transformers 而非以前工作中使用的基于 ResNet 的模型。

三、方法
在模型设计中&＃xff0c;我们尽可能地遵循原始 Transformer (Vaswani 等, 2017)。这种有意简单设置的优势在于&＃xff0c;可扩展的 NLP Transformer 架构及其高效实现几乎可以开箱即用。

Figure 1: Model overview. We split an image into fifixed-size patches, linearly embed each of them, add
position embeddings, and feed the resulting sequence of vectors to a standard Transformer encoder. In order
to perform classifification, we use the standard approach of adding an extra learnable “classifification token”
to the sequence. The illustration of the Transformer encoder was inspired by Vaswani et al. (2017).

3.1 图像块嵌入 (Patch Embeddings)

该模型的概述如图 1 所示。标准 Transformer 接受 一维标记嵌入序列 (Sequence of token embeddings) 作为输入。为处理 2D 图像&＃xff0c;我们将图像 $x \in \mathbb{R}^{H \times W \times C}$

关于 Transformer 位置嵌入&＃xff0c;详见《【机器学习】详解 Transformer_闻韶-CSDN博客_机器学习transformer》

3.4 Transformer 编码器

Transformer 编码器 由交替的 多头自注意力层 (MSA, 附录 A) 和 多层感知机块 (MLP, 等式 2, 3) 构成。在每个块前应用 层归一化 (Layer Norm)&＃xff0c;在每个块后应用 残差连接 (Residual Connection)。

等式 1&＃xff1a;由图像块嵌入 $x^i_{p}E, i \in {1, 2, ..., N}$

其中&＃xff0c;初始输入图像 shape &＃61; (b &＃61; b, c &＃61; 3, h &＃61; 256, w &＃61; 256) 被切分并展平为&＃xff1a;通道数 c &＃61; 3、尺寸 P &＃61; 32、个数 N &＃61; (256×256) / (32×32) &＃61; 64 的图像块 (Patch)&＃xff0c;每个图像块均有 P×P×C &＃61; 32×32×3 &＃61; 3072 个像素。馈入线性投影层 (相当于通道数由 3 降维为 1) 得到个数为 N &＃61; 64、大小 (像素数) 为 D &＃61; (32×32×1) &＃61; 1024 的图像块嵌入&＃xff0c;每个图像块嵌入按元素加 (Element-wise Summary) 入位置向量后&＃xff0c;尺寸仍为 N×D &＃61; 64×1024&＃xff0c;再拼接 (Concat) 一个用于预测分类结果的 1×1024 可学习嵌入向量构成大小为 65×1024 嵌入整体 (长度 N&＃43;1 &＃61; 64&＃43;1 &＃61; 65)&＃xff0c;输入编码器经过一系列前向处理后&＃xff0c;得到尺寸仍为 N×D &＃61; 65×1024 的输出。

当然&＃xff0c;事实上&＃xff0c;根据 3.1 节的代码实现&＃xff0c;Patch Embedding 只需依次经过 Conv &＃43; Flatten &＃43; Transpose 操作得到。上述图示和描述仅仅是用于更直观而细粒度地展现馈入 Encoder 的整体 Embedding 的形成过程。

3.6 归纳偏置与混合架构

归纳偏置 (Inductive bias)&＃xff1a;注意到&＃xff0c;Vision Transformer 的图像特定归纳偏置比 CNN 少得多。在 CNN 中&＃xff0c;局部性、二维邻域结构和平移等效性存在于整个模型的每一层中。而在 ViT 中&＃xff0c;只有 MLP 层是局部和平移等变的&＃xff0c;因为自注意力层都是全局的。二维邻域结构的使用非常谨慎&＃xff1a;在模型开始时通过将图像切分成块&＃xff0c;并在微调时调整不同分辨率图像的位置嵌入 (如下所述)。此外&＃xff0c;初始化时的位置嵌入不携带有关图像块的 2D 位置的信息&＃xff0c;图像块之间的所有空间关系都必须从头开始学习。
混合架构 (Hybrid Architecture)&＃xff1a;作为原始图像块的替代方案&＃xff0c;输入序列可由 CNN 的特征图构成。在这种混合模型中&＃xff0c;图像块嵌入投影
位置编码插值示意图

def resize_pos_embed(posemb, posemb_new):# Rescale the grid of position embeddings when loading from state_dict. Adapted from# https://github.com/google-research/vision_transformer/blob/00883dd691c63a6830751563748663526e811cee/vit_jax/checkpoint.py#L224_logger.info(&＃39;Resized position embedding: %s to %s&＃39;, posemb.shape, posemb_new.shape)ntok_new &＃61; posemb_new.shape[1]# 除去 class token 的 pos_embedposemb_tok, posemb_grid &＃61; posemb[:, :1], posemb[0, 1:]ntok_new -&＃61; 1gs_old &＃61; int(math.sqrt(len(posemb_grid)))gs_new &＃61; int(math.sqrt(ntok_new))_logger.info(&＃39;Position embedding grid-size from %s to %s&＃39;, gs_old, gs_new)# 把 pos_embed 变换到 2-D 维度再进行插值posemb_grid &＃61; posemb_grid.reshape(1, gs_old, gs_old, -1).permute(0, 3, 1, 2)posemb_grid &＃61; F.interpolate(posemb_grid, size&＃61;(gs_new, gs_new), mode&＃61;&＃39;bilinear&＃39;)posemb_grid &＃61; posemb_grid.permute(0, 2, 3, 1).reshape(1, gs_new * gs_new, -1)posemb &＃61; torch.cat([posemb_tok, posemb_grid], dim&＃61;1)return posemb

但这种情形一般会造成性能少许损失&＃xff0c;可通过微调模型解决。另外&＃xff0c;论文 CPVT 通过 Implicit Conditional Position Encoding 来解决该问题&＃xff08;插入 Conv 来隐式编码位置信息&＃xff0c;Zero-padding 让 Conv 学习到绝对位置信息&＃xff09;。

3.8 超参数

ViT 的超参数主要包括以下&＃xff0c;它们直接影响模型参数及计算量&＃xff1a;

Layers&＃xff1a;Encoder Block 数量
Hidden Size D&＃xff1a;隐藏层特征大小&＃xff0c;其在各 Encoder Block 保持一致
MLP Size&＃xff1a;MLP 特征大小&＃xff0c;通常设为 4D
Heads&＃xff1a;MSA 中的 heads 数量
Patch Size&＃xff1a;模型输入的 Patch size&＃xff0c;ViT 中共有两个设置&＃xff1a;14x14 和 16x16&＃xff0c;该参数仅影响计算量

类似 BERT&＃xff0c;ViT 原文共定义了 3 种不同大小的模型&＃xff1a;Base、Large 和 Huge&＃xff0c;其对应的模型参数不同&＃xff0c;如下所示。如 ViT-L/16 表示采用 Large 结构&＃xff0c;输入 Patch size &＃61; 16x16。