attention机制_Attention机制与Transformer算法

一、Attention机制

attention概括下就是&＃xff1a;对全部依赖对象根据重要程度进行区别对待&＃xff0c;或叫加权求和。可借下图进行说明&＃xff1a;

参见上图&＃xff0c;以常见的机器翻译任务来说&＃xff0c;Query代表上一时刻的输出信息&＃xff0c;而Key和Value一般是相同的&＃xff0c;如代表隐藏层的输出。attention的计算过程分为如下三步&＃xff1a;

1&＃xff09;根据Query和

计算两者之间的相关性&＃xff0c;即

。

2&＃xff09;用softmax对

进行归一化处理计算注意力权重值

。

3&＃xff09;通过注意力权重

对value进行加权求和&＃xff0c;得到当前数学表达

。

1.1 attention分类

attention有多种形式&＃xff0c;可以从多种角度进行划分。如&＃xff1a;计算区域、所用信息、结构层次和模型等角度。

1、计算区域

• soft attention&＃xff1a;对所有key求权重概率&＃xff0c;参考所有key进行加权求和。
• hard attention&＃xff1a;精准定位到某个key&＃xff0c;此key权重概率为1&＃xff0c;其余key为0。
• local attention&＃xff1a;上述两者折中。先基于hard定位到某key&＃xff0c;然后在key的一个窗口内应用soft。

2、所用信息&＃xff1a;假设要对一段原文进行attention处理&＃xff0c;可能会用到内部信息和外部信息。

• general attention&＃xff1a;用到了外部信息&＃xff0c;常见于用来构建两段文本关系的任务。query一般包含了外部信息&＃xff0c;根据外部query对原文进行对齐。
• local attention&＃xff1a;只使用内部信息&＃xff0c;即query、key、value都只和输入原文有关系&＃xff0c;如&＃xff1a;self attention。

3、结构层次

• 单层attention&＃xff1a;用一个query对一段原文进行一次attention。
• 多层attention&＃xff1a;比如把一个文档划分成多个句子。第一层对每个句子使用attention计算一个句向量&＃xff0c;第二层对所有句向量执行attention生成文档向量进行后续使用。
• 多头attention&＃xff1a;可参考《attention is all you need》中的multihead attention。

4、模型结构

• CNN&＃43;attention&＃xff1a;可对卷积层输出做attention或者可用attention替换max pooling。
• LSTM&＃43;attention&＃xff1a;如对所有step的hidden state进行加权&＃xff0c;把注意力集中到整段文本中比较重要的hidden state信息。
• 纯attention&＃xff1a;最经典的方案&＃xff0c;如《attention is all you need》就属于这种。

二、Transformer算法

【参考资料】

1、Attention用于NLP的一些小结&＃xff1a;https://zhuanlan.zhihu.com/p/35739040。

2、Mechanics of Seq2seq Models With Attention&＃xff1a;https://jalammar.github.io/visualizing-neural-machine-translation-mechanics-of-seq2seq-models-with-attention/。

3、The Illustrated Transformer&＃xff1a;http://jalammar.github.io/illustrated-transformer/。