Transformer模型

前言

如果你对这篇文章可感兴趣&＃xff0c;可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」&＃xff0c;查看完整博客分类与对应链接。

文章动机

在 Transformer 之前&＃xff0c;序列翻译任务&＃xff08;或者说与序列、时序相关的任务&＃xff09;通常采用 RNN、CNN 结构&＃xff0c;其中 RNN 的缺点在于&＃xff1a;&＃xff08;1&＃xff09;使用计算的先后次序&＃xff0c;来表征序列中的先后信息&＃xff0c;因此只能串行计算&＃xff08;2&＃xff09;长序列早期的信息可能会丢失&＃xff1b;CNN 的缺点在于&＃xff1a;捕捉相邻信息依赖卷积的窗口&＃xff0c;因此对于长序列的信息可能需要很多层卷积。

基于上述问题&＃xff0c;Transformer 应运而生&＃xff0c;提出新结构&＃xff0c;用于实现&＃xff08;1&＃xff09;更好地并行化&＃xff08;2&＃xff09;更好地建模长序列。

模型结构

Layer Normalization

• Batch Normalization&＃xff1a;对每一个特征 $i$&＃xff0c;将所有样本中的特征 $i$ 进行归一化&＃xff0c;使其均值为 0&＃xff0c;方差为 1
• Layer Normalization&＃xff1a;对每一个样本&＃xff0c;将其中所有特征做归一化&＃xff0c;使其均值为 0&＃xff0c;方差为 1
• Transformer 中采用 Layer Normalization 的原因&＃xff1a;在序列问题中&＃xff0c;每一个样本的有效长度是不一样的&＃xff08;无效处通常填 0&＃xff09;&＃xff0c;因此若采用 BN 对每一个特征进行归一化&＃xff0c;很容易受到训练样本有效长度的影响&＃xff0c;例如测试时出现一个特别长的样本

Attention

Scaled Dot-Product Attention

首先是单层直接做 Attention&＃xff0c;输入 Q&＃xff08;query&＃xff09;、K&＃xff08;keys&＃xff09;、V&＃xff08;values&＃xff09;&＃xff0c;具体思想是将 Q 与 K 两两做相似度比较&＃xff0c;再将相似度作为与 V 的权重系数&＃xff0c;具体计算方式如下&＃xff1a;
Attention (Q,K,V)&＃61;softmax⁡(QKTdk)V\text { Attention }(Q, K, V)&＃61;\operatorname{softmax}\left(\frac{Q K^T}{\sqrt{d_k}}\right) V  Attention (Q,K,V)&＃61;softmax(dk​

​QKT​)V
其中 dkd_{k}dk​ 是 Q、K、V 向量维度。此处除以 dk\sqrt{d_k}dk​

​ 的原因在于&＃xff0c;当向量较长时&＃xff0c;softmax 很容易将每个元素的结果往 0 或 1 推&＃xff0c;而当所有结果分布在 0、1 区域时&＃xff0c;softmax 函数的梯度将变得很小&＃xff0c;即出现梯度消失现象。

Mask

由于上述的 Attention 操作是对全局做的&＃xff0c;但实际在预测中&＃xff0c;$t-1$ 时刻是无法看到 $t$ 时刻信息的&＃xff0c;因此对 $t-1$ 时刻之后的结果&＃xff0c;乘以一个很大的负数&＃xff0c;即通过 softmax 后变为 0&＃xff0c;V 中对应位置的权重系数变为 0。

Multi-Head Attention

在上述的单层 Attention 中&＃xff0c;我们可以发现没有多少可以调整的参数&＃xff0c;因此借鉴 CNN 的思想&＃xff0c;采用 Multi-Head Attention 的方式&＃xff0c;将 Q、K、V 映射到多个子空间中&＃xff0c;分别进行 Attention 操作后再拼接起来&＃xff0c;具体结构如下所示&＃xff1a;

Feed-Forward Networks

实际上就是两层 MLP&＃xff0c;计算过程如下&＃xff1a;
FFN⁡(x)&＃61;max⁡(0,xW1&＃43;b1)W2&＃43;b2\operatorname{FFN}(x)&＃61;\max \left(0, x W_1&＃43;b_1\right) W_2&＃43;b_2 FFN(x)&＃61;max(0,xW1​&＃43;b1​)W2​&＃43;b2​

Positional Encoding

在 RNN 中&＃xff0c;通过计算的先后次序&＃xff0c;来表征序列中的先后信息&＃xff1b;而在 Transformer 中&＃xff0c;Attention 只是两两算相似度&＃xff0c;其本身没有时序信息&＃xff0c;因此在其模型结构中&＃xff0c;主要通过对每一个位置的向量&＃xff0c;加上一个表示当前位置信息的向量&＃xff0c;即一个记录时序信息的 Positional Encoding&＃xff0c;以此达到加入时序的作用&＃xff0c;其具体做法如下&＃xff1a;
PE(pos,2i)&＃61;sin⁡(pos/100002i/dmodel )PE(pos,2i&＃43;1)&＃61;cos⁡(pos/100002i/dmodel )\begin{aligned} P E_{(p o s, 2 i)} &&＃61;\sin \left(p o s / 10000^{2 i / d_{\text {model }}}\right) \\ P E_{(p o s, 2 i&＃43;1)} &&＃61;\cos \left(p o s / 10000^{2 i / d_{\text {model }}}\right) \end{aligned} PE(pos,2i)​PE(pos,2i&＃43;1)​​&＃61;sin(pos/100002i/dmodel ​)&＃61;cos(pos/100002i/dmodel ​)​
其中 PE(pos,2i)PE_{(pos,2i)}PE(pos,2i)​ 表示 $pos$ 位置对应向量的第 $2i$ 维度数值。

参考链接

• Attention Is All You Need
• 李沐 - Transformer论文逐段精读