52自然语言处理NLPseq2seqattention的提出计算方式及pytorch实现

1、seq2seq attention的论文出处

主要是阅读经典论文《Neural Machine Translation by Jointly Learning to Align and Translate》https://arxiv.org/pdf/1409.0473.pdf

这篇论文中机器翻译采用seq2seq的encoder-decoder模型构建&＃xff0c;将输入句子encoding成一个固定长度的向量&＃xff0c;然后输入到decoder解码生成译文。

attention机制引入要解决的问题

encoder得到的固定向量直接送入decoder&＃xff0c;不利于

&＃xff08;1&＃xff09;较长句子的信息传递 &＃xff08;2&＃xff09;提取decoder中目标单词需要关注原文中的语义信息

2、seq2seq decoder的构成

直接截取一下论文中的讲法吧&＃xff0c;如下图&＃xff1a;

式子&＃xff08;4&＃xff09;的意思就是解码器生成出来的每个token&＃xff0c;由

1、就是前一个token的特征向量&＃xff1b;

2、 就是当前的隐状态&＃xff0c;这里的 也是通过RNN得到的&＃xff0c;可以把和看成这一步RNN的输入特征向量&＃xff1b;

3、 就是上下文的特征&＃xff0c;没有用attention之前就是encoder得到的固定向量。现在用了attention机制这篇文章中经典的attention机制就是&＃xff08;5&＃xff09;式得到的。

关于 的计算中&＃xff0c;简单来说就是encoder中各层隐状态 与decoder的隐状态做相似度&＃xff08;可以用一个MLP来实现等&＃xff0c;下文再具体说明各种算法&＃xff09;&＃xff0c;然后求softmax得到权重系数&＃xff0c;然后做加权和。当然这只是一种做法&＃xff0c;实际怎么做可以有别的做法。

3、seq2seq attention的经典形式

Effective Approaches to Attention-based Neural Machine Translation 论文中&＃xff0c;将注意力机制大致分为了全局&＃xff08;global&＃xff09;注意力和局部&＃xff08;local&＃xff09;注意力。

全局注意力指的是注意力分布在所有encoder得到隐状态中&＃xff1b;局部注意力指注意力只存在于一些隐状态中。例如&＃xff0c;图像的average pooling可视为全局注意力&＃xff1b;max pooling可视为局部注意力

论文链接&＃xff1a;https://arxiv.org/abs/1508.04025

3.1 global attention

直接上论文中的内容好了&＃xff0c;这边global attention的意思和上一篇论文的一样&＃xff0c;只是论文中用的符号不一样&＃xff0c;应该一看就能知道&＃xff0c;实际一个意思。

这里decoder的target hidden和encoder中的source hidden的score怎么算呢&＃xff1f;文中介绍三种算法&＃xff1a;

这里把score称为基于内容的函数&＃xff0c;原因是这里的计算只考虑了隐状态间内容的相关性&＃xff0c;并不包含时序信息。

&＃xff08;1&＃xff09;dot&＃xff1a;transformer中的Q、K就是用dot计算

&＃xff08;2&＃xff09;general&＃xff1a;俗称乘法注意力机制

&＃xff08;3&＃xff09;concat&＃xff1a;俗称加法注意力机制

当然文中也提到了location based的global attention不过&＃xff0c;似乎&＃xff08;不太确定可能本人孤陋寡闻基本没用过&＃xff09;是历史遗留的产物&＃xff0c;大家可以自行阅读。

3.2 local attention

此处&＃xff0c;出于这篇文章的完整性&＃xff0c;提及一下文章还提到了local attention。提出原因是global attention的计算量大。以机器翻译任务为例&＃xff0c;如果原文和译文语种差异较大采用global attention&＃xff0c;但如果句法上对应较好&＃xff0c;可以采用local attention尝试。

4、pytorch实现Seq2Seq中dot型attention的注意力

这里实现一个3.1中dot型的注意力&＃xff0c;输入为encoder的各层隐状态encoder_states以及当前的decoder隐状态decoder_state_t&＃xff0c;输出为注意力加权后的上下文状态c

class Seq2SeqAttentionMechanism(nn.Module):def __init__(self):super(Seq2SeqAttentionMechanism, self).__init__()def forward(self, decoder_state_t, encoder_states):bs, source_length, hidden_size &＃61; encoder_states.shapedecoder_state_t &＃61; decoder_state_t.unsqueeze(1)decoder_state_t &＃61; torch.tile(decoder_state_t, dims &＃61; (1, source_length, 1))score &＃61; torch.sum(decoder_state_t * encoder_states, dim &＃61; -1) #[bs, source_length]attn_prob &＃61; F.softmax(score, dim &＃61; -1) #[bs, source_length]context &＃61; torch.sum(attn_prob.unsqueeze(-1) * encoder_states, 1) #[bs, hidden_size]return attn_prob, context