transform是2017年提出来的&＃xff0c;当时横扫NLP领域的多个任务&＃xff0c;Vaswani et al. Attention Is All You Need. In NIPS,2017.

transform模型是Seq2Seq模型

transform不是RNN

transform是基于attention机制和全连接层的

这里通过最初的基于RNN的Seq2Seq模型&＃xff0c;到基于RNN&＃43;attention的Seq2Seq模型&＃xff0c;在到把RNN去掉全部基于attention的Seq2Seq模型&＃xff0c;然后transform模型的思路进行讲解&＃xff0c;这里前面几个都是前面讲过的&＃xff0c;这里只是简单介绍即可

基于RNN的Seq2Seq模型

先介绍RNN是怎么更新状态的

基于RNN的Seq2Seq模型

这里简单的说一下&＃xff0c;为什么在编码器中只需要使用最后一个状态的输出&＃xff0c;为什么不使用中间的状态&＃xff0c;因为最后一个状态包含了输入的所有信息&＃xff0c;中间的状态&＃xff0c;包含的信息不全

接着&＃xff1a;

基于RNN&＃43;attention的Seq2Seq模型

可以发现基于attention的Seq2Seq的模型增加了context状态&＃xff0c;通过context状态在计算输出状态h如下&＃xff1a;

因此基于attention的RNN解决了长序列依赖问题&＃xff0c;因为每个状态都包含了输入的整个信息。

计算context方法

上面采用的计算context方法并不是很常用&＃xff0c;常用的方法是如下&＃xff1a;

即引入三个矩阵和三个状态&＃xff0c;其实本质上和上面的目的是一样的&＃xff0c;只是处理方式不同&＃xff0c;增加更多的参数&＃xff0c;使模型表达能力更强。

他们的区别是什么&＃xff1f;其实大家可以这样想&＃xff0c;在获取解码器的输出状态时&＃xff0c;使用RNN对seq2seq进行建模时&＃xff0c;会发现&＃xff0c;输入和上一个状态的S进行concat&＃xff0c;然后乘上一个矩阵A&＃xff0c;那么我们是否可以拆开呢&＃xff1f;单独对输入创建一个参数矩阵和单独对状态创建一个矩阵&＃xff0c;当然可以啊&＃xff0c;两个矩阵的目的都是一样的&＃xff0c;增加参数矩阵的表达能力&＃xff0c;为了引入注意力机制&＃xff0c;就需要计算相关性 &＃xff0c;那么也可以引入一个矩阵即可&＃xff0c;因此&＃xff0c;本质上transform就是通过计算相关性&＃xff0c;然后把输出状态和每个输入的状态都关联起来&＃xff0c;至于关联度其实就是相关性了&＃xff0c;如何计算相关性&＃xff0c;方法很多&＃xff0c;而目前比较受欢迎的方法就是transform的这个方法&＃xff0c;即设置参数矩阵Q、K、V:

Q矩阵是query就是当前的状态需要和编码器的状态计算相识度&＃xff0c;因此需要解码器当前状态S乘上一个参数矩阵Q&＃xff0c;表示该矩阵需要询问编码器所有的状态

K矩阵是key的意思&＃xff0c;因为解码输出状态Q需要和编码器输出状态计算相关性&＃xff0c;那么编码器的输出就是key了&＃xff0c;因为每个编码器的输出都需要和Q相乘&＃xff0c;因此称为key

V值其实很简单&＃xff0c;在Q和K计算输出后是以矩阵&＃xff0c;而相关性系数是一个值&＃xff0c;因此需要另一个矩阵把Q和K的矩阵值在乘上一个矩阵V使其结果为一个相关性向量&＃xff0c;这样就可以获取完整的α了&＃xff0c;下面介绍基于RNN和attention的seq2seq模型

从上可以发现key和value的输出向量都是编码器的输出h状态&＃xff0c;还是所有的状态&＃xff0c;而q的输入是解码器当前的输出S状态&＃xff0c;其中S0的状态为h_m&＃xff0c;C0初始化为0&＃xff0c;把S0和C0进行concat在通过激活函数就可以得到S1了&＃xff0c;关键是如何通过attention计算法C1&＃xff0c;其实很简单&＃xff0c;此时S1和编码器的h_i都是知道的&＃xff0c;那么分别创建W_Q矩阵和W_K矩阵和W_V矩阵&＃xff0c;q矩阵是解码器当前输出状态S的参数矩阵&＃xff0c;K是编码器的输出状态h的参数矩阵&＃xff0c;V是为了计算相识度α的矩阵&＃xff0c;该输入也是编码器的输出状态。

通过K和q的矩阵相乘&＃xff0c;在通过softmax获取相识度α权重&＃xff0c;然后计算当前输出状态的上下文C了

基于Attention的Seq2Seq模型

上面的是全部基于attention实现的seq2seq模型&＃xff0c;从上可以发现&＃xff0c;K和V的输入都是基于编码器的输入x_i,q的输入是解码器的上一个输出x^&＃39;,其他的很基于rnn的attention类似&＃xff0c;这里不过多解释&＃xff0c;下面介绍如何组建成transform模型

Attention Layer

把上面模块化形成attention层

Self-attention层

Self-attention层和attention类似&＃xff0c;只是这里的输入全为x_i,同样没有RNN网络&＃xff0c;只有attention&＃xff0c;其中Q、K、V的输入都是x&＃xff0c;通过类似的方式及时α值&＃xff0c;具体如下&＃xff1a;

计算α值&＃xff1a;

计算C值&＃xff1a;

Self-attention层&＃xff1a;

简化&＃xff1a;