空间注意力机制sam_Attention注意力机制介绍

什么是Attention机制

Attention机制通俗的讲就是把注意力集中放在重要的点上&＃xff0c;而忽略其他不重要的因素。其中重要程度的判断取决于应用场景&＃xff0c;拿个现实生活中的例子&＃xff0c;比如1000个人眼中有1000个哈姆雷特。根据应用场景的不同&＃xff0c;Attention分为空间注意力和时间注意力&＃xff0c;前者用于图像处理&＃xff0c;后者用于自然语言处理。本文主要介绍Attention机制在Seq2seq中的应用。

为什么要用Attention机制

我们知道在Seq2seq模型中&＃xff0c;原始编解码模型的encode过程会生成一个中间向量C&＃xff0c;用于保存原序列的语义信息。但是这个向量长度是固定的&＃xff0c;当输入原序列的长度比较长时&＃xff0c;向量C无法保存全部的语义信息&＃xff0c;上下文语义信息受到了限制&＃xff0c;这也限制了模型的理解能力。所以使用Attention机制来打破这种原始编解码模型对固定向量的限制。

Attention原理

Attention的原理就是计算当前输入序列与输出向量的匹配程度&＃xff0c;匹配度高也就是注意力集中点其相对的得分越高&＃xff0c;其中Attention计算得到的匹配度权重&＃xff0c;只限于当前序列对&＃xff0c;不是像网络模型权重这样的整体权重。

算法过程&＃xff1a;

1)encode对输入序列编码得到最后一个时间步的状态c&＃xff0c;和每个时间步的输出h&＃xff0c;其中c又作为decode的初始状态z0。

2)对于每个时间步的输出h与z0做匹配也就是match操作&＃xff0c;得到每个时间步的匹配向量α01&＃xff0c;如图1。

图1

3)对所有时间步的输出h与z0的匹配度α0&＃xff0c;使用softmax做归一化处理&＃xff0c;得到各个时间步对于z0的匹配分数。

4)求各个时间步的输出h与匹配分数的加权求和得到c0&＃xff0c;作为decode的下一个时间步的输入&＃xff0c;如图2。

图2

5)计算各个时间步的输出h与z1的匹配度得到c1作为decode下一个时间步的输入&＃xff0c;如此一步一步重复下去&＃xff0c;如图3。

图3

这样就可以把每个时间步重要的信息传给decode中&＃xff0c;以上就是Attention机制的处理过程。其中match操作一般是求两个向量的相似度&＃xff0c;通常有如下方法&＃xff1a;

1)余弦相似度

2)一个简单的 神经网络&＃xff0c;输入为hh和ww&＃xff0c;输出为α

3)或者矩阵变换α&＃61;hTWzα&＃61;hTWz (Multiplicative attention&＃xff0c;Luong et al., 2015)

在tensorflow1.0版本以后的api seq2seq库中&＃xff0c;包含了两种Attention算法&＃xff0c;他们的区别就是match操作的不同&＃xff0c;因此也有人称他们为加法Attention和乘法Attention&＃xff0c;具体内容下&＃xff1a;

图4

图5

由于图片来自不同地方&＃xff0c;所以符号有些不同&＃xff0c;图4和图5中的h是上文所说的每个时间步的输出向量&＃xff0c;d是decode中每个时间步的状态&＃xff0c;也就是上文中的z&＃xff0c;c是match后计算的权值加和后的向量用于decode中每个时间步的输入&＃xff0c;a就是match操作中经过softmax后的匹配权重&＃xff0c;v是一个向量&＃xff0c;相当于w一样的权重需要去学习。有上面两个公式可以看出&＃xff0c;BahdanauAttention和LuongAttention的区别就是在match过程中的计算方式不同&＃xff0c;一个是将decode的状态与encode的输出求和&＃xff0c;一个是求乘&＃xff0c;所以才有了加法Attention和乘法Attention的叫法。

待更新。。

参考&＃xff1a;