TransformerEncoderDecoer结构回顾

有关于Transformer、BERT及其各种变体的详细介绍请参照笔者另一篇博客&＃xff1a;最火的几个全网络预训练模型梳理整合&＃xff08;BERT、ALBERT、XLNet详解&＃xff09;。

本文基于对T5一文的理解&＃xff0c;再重新回顾一下有关于auto-encoder、auto-regressive等常见概念&＃xff0c;以及Transformer-based model的decoder结构。

1. Auto-encoder & Auto-regressive Language model

1.1 Auto-encoder

类似于BERT、ALBERT、RoBERTa这类&＃xff0c;encoder-only的language model。

优点&＃xff1a;

• 能够保证同时上下文。

缺点&＃xff1a;

• token之间的条件独立假设。违反自然语言生成的直觉性。
• encoder-only的时候&＃xff0c;预训练目标不能和很多生成任务一致。

而结合预训练的时候的objective&＃xff0c;像BERT这类Masked Language Model &＃xff08;MLM&＃xff09;又可以叫做denoised Auto-encoder&＃xff08;去噪自编码&＃xff09;。

1.2 Auto-regressive

类似于ELMO、GPT这类&＃xff0c;时序LM和decoder-only LM。

传统的时序Language Model &＃xff0c;类似于RNN、ELMO&＃xff0c;严格意义上不能叫做decoder&＃xff1b;只是后来出现了大量基于transformer的auto-regressive LM&＃xff0c;比方说GPT等&＃xff0c;它们都是用作文本生成直接解码输出结果。所以在”transformer时代“下&＃xff0c;Auto-regressive现在很多时候也被简单地理解为decoder-only。大致概念可以按下图理解&＃xff1a;

优点&＃xff1a;

• 无条件独立假设。
• 预训练可以直接做生成任务&＃xff0c;符合下游生成任务的objective。

缺点&＃xff1a;

• 不能同时双向编码信息&＃xff08;像ELMO这种是”伪双向“&＃xff0c;而且容易“透露答案”&＃xff09;。

而目前自然语言处理的auto-regressive结构&＃xff0c;大多基于Transformer&＃xff1b;像传统时序LM&＃xff0c;ELMO这种也已经快被遗忘了。

2. Transformer-based model 结构概览

如前文所述&＃xff0c;我们目前理解LM &＃xff08;autoencoder & autoregressive&＃xff09;&＃xff0c;大多是基于transformer的结构的。所以这一节暂时不讨论传统时序LM&＃xff0c;ELMO这种。

T5一文¹曾对Transformer的经典结构进行过概述&＃xff0c;主要分为以下三种&＃xff1a;

1. Encoder-only Language Model&＃xff1a;也即Auto-encoder。如第一节所述&＃xff0c;特点是&＃xff0c;能同时双向编码。代表有&＃xff1a;BERT、RoBERTa等。
2. Decoder-only Language Model&＃xff08;上图&＃xff0c;中&＃xff09;&＃xff1a;也即Auto Regressive &＃xff08;不包括传统的时序模型&＃xff09;&＃xff0c;可以简单理解成只有Decoder。特点是&＃xff0c;只能看到前文信息&＃xff08;因为decoder-only&＃xff09;。代表有&＃xff1a;GPT等。
3. Encoder-Decoder&＃xff1a;也即Auto-encoder &＃43; Auto regressive&＃xff08;上图&＃xff0c;左&＃xff09;。最原始的Transformer结构&＃xff0c;encoder和decoder都有self-attentino支持&＃xff0c;decoder还有额外的cross-attention用来结合encoder的输出信息。特点是&＃xff0c;encoder能够同时看到上下文双向信息&＃xff0c;而decoder只能看到前文信息。代表有&＃xff1a;BART、T5等&＃xff0c;这也使得这类模型特别适合生成式任务。
4. Prefix LM&＃xff1a;可以简单地理解为Encoder-Decoder结构的变形&＃xff08;上图&＃xff0c;右&＃xff09;。特点是&＃xff0c;一部分像 Encoder 一样&＃xff0c;能看到上下文信息&＃xff1b;而其余部分则和 Decoder 一样&＃xff0c;只能看到过去信息。代表有UniLM等·。

而Transformer结构&＃xff0c;如果想要实现所谓的&＃xff0c;“同时上下文信息”、“只看到前文信息”&＃xff0c;则需要依赖masked attention&＃xff0c;因为transformer的self-attention&＃xff0c;默认是全文计算attention&＃xff0c;想要部分不可见&＃xff0c;就得mask。这一点和传统时序LM不一样&＃xff0c;像RNN这种&＃xff0c;下一个token依赖于前文的hidden state&＃xff0c;天然地就只能看到前文信息。

下面就以Encoder-Decoder LM为例&＃xff0c;讲一下如何使用attention&＃xff0c;实现encoder看到全文&＃xff0c;而decoder只看到前文。

3. Encoder-Decoder的masked attention机制

这里以T5的代码为例。Transformer中的mask其实分为两种&＃xff1a;1&＃xff09;padding mask&＃xff1b;2&＃xff09;sequence mask。

3.1 Padding mask vs. Sequence mask

padding mask很简单&＃xff0c;就是我们常用的同一个batch里面&＃xff0c;把那些较短的样本&＃xff0c;补至最长的样本长度。因为这些填充的位置&＃xff0c;其实是没什么意义的&＃xff0c;所以Attention机制不应该把注意力放在这些位置上&＃xff0c;自然会在padding 位置进行attention mask。这个操作在encoder和decoder中都有用到&＃xff0c;只是一个简单的tensor批量运算操作。

sequence mask是为了使得Decoder只能看见上文信息。所以当前step之后的文本信息&＃xff0c;都会被mask掉。这个操作仅在decoder中使用。

总而言之&＃xff0c;上述两种mask方式中&＃xff0c;sequence mask是用于实现模型是否可见后文信息的关键。

3.2 Encoder

Encoder用的是全部的上下文信息&＃xff0c;所以这边的sequence mask全部为0&＃xff0c;形状为【batch_size, 1,1, seq_len】:

3.3 Decoder

Dncoder用的是前文的信息&＃xff0c;所以这边的attention mask是一个矩阵 &＃xff08;seq_len * seq_len&＃xff09;&＃xff0c;其中下三角全0&＃xff0c;迫使模型只能看到输入中的前文信息。如下图所示&＃xff0c;sequence mask的实际形状为【batch_size, 1, seq_len, seq_len】

3.4 Encoder 和Decoder的区别

这里最后再简单总结一下Encoder-Decoder结构的LM&＃xff0c;其Encoder和Decoder之间的区别。

首先&＃xff0c;decoder有三层&＃xff0c;sub-layer[1]计算self-attention&＃xff0c;sub-layer[2]计算cross- attention&＃xff0c;sub-layer[3]则是Linear层把最终hidden印射为vocab_size的logits。

所以decoder相较于encoder&＃xff0c;其大部分结构和计算都是一样的&＃xff0c;只不过多出这三个部分&＃xff1a;

1. sequence mask&＃xff1a;Decoder在计算sub-layer[1]的self-attention时&＃xff0c;有sequence mask机制&＃xff0c;确保只看到前文信息&＃xff1b;而Encoder没有&＃xff0c;计算self-attention时默认看到全文。
2. cross-attention&＃xff1a;Decoder的sub_layer[2]会计算cross-attention。具体来讲&＃xff0c;这一层会使用encoder的output hidden作为k,v&＃xff0c;而sub-layer[1]的self-attention的output作为q&＃xff0c;来进行self-attention的计算。这是为了让decoder充分融合encoder端的信息&＃xff0c;所以名为“cross-attention”。
3. linear&＃43;softmax&＃xff1a;最后sub_layer[3]会有一个映射层&＃xff0c;输出每个token的词表概率预测。

参考

• [1] Raffel C, Shazeer N, Roberts A, et al. Exploring the limits of transfer learning with a unified text-to-text transformer[J]. J. Mach. Learn. Res., 2020, 21(140): 1-67.&＃xff1b;paper
• [2] 知乎——T5 模型&＃xff1a;NLP Text-to-Text 预训练模型超大规模探索
• [3] 知乎——【精华】BERT&＃xff0c;Transformer&＃xff0c;Attention&＃xff08;中&＃xff09;
• [4] CSDN——最火的几个全网络预训练模型梳理整合&＃xff08;BERT、ALBERT、XLNet详解&＃xff09;