pytorch实现attention_SelfAttention手动推导及实现

一、前言

问&＃xff1a;transformer模型的众多派生BERT&＃xff0c;RoBERTa&＃xff0c;ALBERT&＃xff0c;SpanBERT&＃xff0c;DistilBERT&＃xff0c;SesameBERT&＃xff0c;SemBERT&＃xff0c;SciBERT&＃xff0c;BioBERT&＃xff0c;MobileBERT&＃xff0c;TinyBERT和CamemBERT有什么共同点&＃xff1f;

答&＃xff1a;Self-attention//Transformer架构

使用Transformer架构对NLP任务建模&＃xff0c;避免使用递归神经网络&＃xff0c;完全依赖Self-Attention机制绘制输入和输出之间的全局依赖关系。

本文要&＃xff1a;

1. 探究Self-Attention机制背后的数学原理
2. 引导完成Self-Attention模块中涉及的数学计算
3. 从头带领编写Self-Attention模块代码&＃xff08;pytorch&＃xff09;

二、自注意力机制&＃xff08;Self-Attention&＃xff09;

一个self-attention模块输入为 n,输出也为 n.那么在这个模块内部发生了什么?用门外汉的术语来说&＃xff0c;self-attention机制允许输入彼此之间进行交互&＃xff08;“self”&＃xff09;并找出它们应该更多关注的区域&＃xff08;“Attention”&＃xff09;。输出是这些交互作用和注意力得分的总和。

在self-attention中&＃xff0c;每个单词有3个不同的向量&＃xff0c;它们分别是Query向量&＃xff08;

&＃xff09;&＃xff0c;Key向量&＃xff08;

&＃xff09;和Value向量&＃xff08;

&＃xff09;&＃xff0c;长度均是64。它们是通过3个不同的权值矩阵由嵌入向量

乘以三个不同的权值矩阵

&＃xff0c;

&＃xff0c;

得到&＃xff0c;其中三个矩阵的尺寸也是相同的。均是

。&＃xff08;Transformer中使用的词嵌入的维度为

。&＃xff09;

slef&＃xff1a; 自己和自己计算相似度函数&＃xff0c;然后进一步进行关注对吧。

计算过程&＃xff1a;

假如我们要翻译一个词组Thinking Machines&＃xff0c;其中Thinking的输入的embedding vector用

表示&＃xff0c;Machines的embedding vector用

表示&＃xff0c;以

举例&＃xff0c;整个过程可以分成7步&＃xff1a;

1. 输入单词转化成嵌入向量&＃xff1b;
2. 根据嵌入向量得到
   &＃xff0c;
   &＃xff0c;
   三个向量&＃xff1b;
3. 为每个向量计算自注意力得分&＃xff0c;分数决定当我们在某个位置对单词进行编码时&＃xff0c;要在输入句子的其他部分上投入多少注意力&＃xff1a;
   &＃xff1b;
4. 为了梯度的稳定&＃xff0c;对计算的分数进行 Scale&＃xff0c;即除以
   &＃xff0c;原因是如果点乘结果过大&＃xff0c;使得经过 softmax 之后的梯度很小&＃xff0c;不利于反向传播
5. 对score施以softmax激活函数&＃xff0c;归一化&＃xff1b;
6. softmax乘Value值
   &＃xff08;每个单词的value&＃xff09;&＃xff0c;得到加权的每个输入向量的评分
   &＃xff1b;
7. 相加之后得到最终的输出结果
   &＃xff1a;
   。

矩阵计算&＃xff1a;

实际实现时采用的是基于矩阵的计算方式

三、实例演示

步骤&＃xff08;忽略了二中的第四步&＃xff09;&＃xff1a;

1. 准备输入x
2. 初始化 K, Q, V的权重矩阵
3. x与K, Q, V相乘得到key, query, value的表示
4. 计算x的注意力得分&＃xff08;k, v&＃xff09;&＃xff0c;即求得每个单词的权重weight
5. softmax
6. weight分别乘value中的每一行&＃xff0c;得到的是对应的加权矩阵
7. 矩阵按列相加得到分数矩阵Zx
8. 将每个输入的分数按列排列得到最终的输出Z

手动计算过程&＃xff1a;

参考&＃xff1a;https://mp.weixin.qq.com/s/xLI0yY1hAlOZ1c01SexA1A

四、代码实现(pytorch)

具体步骤同三

&＃xff08;矩阵中点乘和乘法不同&＃xff0c;具体见参考3&＃xff09;

参考&＃xff1a;