selfattention（自注意力机制）

论文地址&＃xff1a;https://arxiv.org/abs/1706.03762

notes&＃xff1a;在transform中使用到了self-attention&＃xff0c;所以对其中进行简要笔记。

Q1:为什么要提出self-attention&＃xff1f;

A1:self-attention就是想让计算机和人一样有关注的重点

比如&＃xff1a;qinxin is a good gril&＃xff0c;she looks beautiful&＃xff0c;

其中这个she代表的是哪一个&＃xff0c;对于我们来说很简单&＃xff0c;对于计算机就很难&＃xff0c;所以需要让计算机的注意力&＃xff0c;集中到qinxin上去&＃xff0c;就是我们要做的部分。

Q2&＃xff1a;基本流程

A2&＃xff1a;首先我们输入4个向量&＃xff0c;然后通过self-attention全部进行接收&＃xff0c;然后进行self-attention后&＃xff0c;输出的结果就是with context的了&＃xff08;与背景或是上下文有关的了&＃xff09;&＃xff0c;之后在进行操作之后就不仅仅是只考虑在单独的输入对象&＃xff0c;而考虑的是整体&＃xff08;如在进行3D-UNet 类似&＃xff0c;进行上下文提取&＃xff09;。

如图下面

 https://b23.tv/gucpvt

 详解Transformer中Self-Attention以及Multi-Head Attention_霹雳吧啦Wz-CSDN博客_multi-head self-attention原文名称&＃xff1a;Attention Is All You Need原文链接&＃xff1a;https://arxiv.org/abs/1706.03762最近Transformer在CV领域很火&＃xff0c;Transformer是2017年Google在Computation and Language上发表的&＃xff0c;当时主要是针对自然语言处理领域提出的&＃xff08;之前的RNN模型记忆长度有限且无法并行化&＃xff0c;只有计算完tit_iti​时刻后的数据才能计算ti&＃43;1t_{i&＃43;1}ti&＃43;1​时刻的数据&＃xff0c;但Transformer可以&＃xff09;。在这篇文章中作者提出了Shttps://blog.csdn.net/qq_37541097/article/details/117691873

 台大李宏毅21年机器学习课程 self-attention和transformer_哔哩哔哩_bilibili