共2048个49维的通道向量_FcaNet论文解读，用频谱信息计算通道注意力

论文&＃xff1a;https://arxiv.org/abs/2012.11879

1、介绍

注意力机制有很多种方法&＃xff0c;空间注意力&＃xff0c;通道注意力&＃xff0c;自注意力等&＃xff0c;这里我们讨论的是通道注意力。通道注意力非常简单&＃xff0c;直接学习出对应的每个通道的权值就可以&＃xff0c;所以非常的好用。一般来说&＃xff0c;在计算通道注意力的时候&＃xff0c;每个通道的会需要有个标量值来计算后面的注意力权重&＃xff0c;这个标量的计算函数一般都是使用Global Average Pooling。但是&＃xff0c;GAP并不是那么的完美&＃xff0c;简单的去均值的方法会丢弃很多的信息&＃xff0c;无法充分的获取每个通道的多样性的信息。那么&＃xff0c;除了使用全局的平均值来计算通道注意力之外&＃xff0c;还有其他的方法吗&＃xff1f;后面会详细说明。

文章的主要贡献如下&＃xff1a;

• 我们证明了GAP是一种特殊形式的DCT&＃xff08;离散余弦变换&＃xff09;&＃xff0c;基于这个证明&＃xff0c;我们将通道注意力泛化到频域&＃xff0c;并提出了FcaNet&＃xff0c;使用多个频率的通道注意力网络。
• 我们提出了一个2阶段的损失函数&＃xff0c;用来选择不同的频率分量&＃xff0c;不同的频率数量&＃xff0c;以及不同的频率组合。
• 我们在COCO和ImageNet上都到了SOTA&＃xff0c;并超越之前的通道注意力的方法。
• 我们的方法非常的简单&＃xff0c;只需要改一行代码就可以替换之前的通道注意力方法。

2、方法

在这部分&＃xff0c;我们来看下&＃xff0c;GAP是如何和DCT联系到一起的&＃xff0c;以及FcaNet是如何设计的。

2.1 通道注意力和离散余弦变换

通道注意力

假设X是输入的特征图&＃xff0c;通道注意力机制可以写成&＃xff1a;

这里&＃xff0c;att是注意力向量&＃xff0c;得到了这个注意力向量之后&＃xff0c;每个通道就可以通过这个注意力向量的对应元素进行缩放&＃xff0c;得到通道注意力机制的输出&＃xff1a;

离散余弦变换

DCT定义为&＃xff1a;

这里&＃xff0c;f是DCT的频谱&＃xff0c;x是输入&＃xff0c;L是x的长度&＃xff0c;2维的DCT可以写成&＃xff1a;

2D的DCT的反变换可以写成&＃xff1a;

在式子&＃xff08;4&＃xff09;和&＃xff08;5&＃xff09;中&＃xff0c;为了简单起见&＃xff0c;所以去掉了一些归一化的常量。

通过通道注意力和DCT的定义&＃xff0c;我们可以总结出两点&＃xff1a;1、现有的方法在做通道注意力的时候&＃xff0c;使用GAP作为预处理。2、DCT可以看成是输入的加权和&＃xff0c;权值就是&＃xff08;3&＃xff09;和&＃xff08;4&＃xff09;的余弦部分。

GAP是一个取均值的操作&＃xff0c;可以看成是输入的最简单的频谱&＃xff0c;也就是频率为0的分量。但是&＃xff0c;在通道注意力中只使用单独的GAP信息并不是很好&＃xff0c;既然单独的频谱不好&＃xff0c;那么可以考虑多用几个频率分量&＃xff0c;这就引入了多频谱的通道注意力机制。

2.2 多频谱通道注意力

通道注意力的理论分析

上面我们分析过了&＃xff0c;DCT可以看成是输入的加权和&＃xff0c;我们会进一步提出&＃xff0c;GAP实际上就是DCT的一种特殊形式。

定理1 GAP是2D DCT的一种特殊形式&＃xff0c;它和2D DCT中的最低的频率分量是成比例的。

证明&＃xff1a;假设在&＃xff08;4&＃xff09;式中&＃xff0c;h和w为0&＃xff0c;我们有&＃xff1a;

在&＃xff08;6&＃xff09;式中&＃xff0c;

我们可以把式&＃xff08;5&＃xff09;重写一下&＃xff1a;

可以看到&＃xff0c;这个特征图X可以表示为不同的频率分量的组合&＃xff0c;其实就是信号处理中的频率分解&＃xff0c;根据&＃xff08;1&＃xff09;式&＃xff1a;

通道注意力仅仅是基于GAP&＃xff0c;但是&＃xff0c;输入的特征图X并不仅仅只有GAP一个频率分量&＃xff0c;还有很多其他的频率分量&＃xff1a;

所以说&＃xff0c;在用GAP做通道注意力的时候&＃xff0c;很多的信息其实被丢掉了。

多频谱注意力模块

为了利用到输入特征图X的更多的信息&＃xff0c;我们可以使用多个频率分量&＃xff0c;包括GAP。首先&＃xff0c;我们把输入特征图X&＃xff0c;按照通道分为多个组&＃xff0c;

这里的[u,v]是频率分量的2D索引&＃xff0c;

这里Freq就是得到的多频谱向量&＃xff0c;然后这个多频谱的通道注意力可以写成&＃xff1a;

可以看到&＃xff0c;对于不同的组&＃xff0c;可能使用不同的[u,v]组合&＃xff0c;也就是说&＃xff0c;每个组使用不同的频率分量。这样&＃xff0c;就将GAP的单个频谱扩展到了多个频谱。

下图是和SENet的对比&＃xff1a;

选择频率分量的规则

现在有个问题是如何去选择频率分量&＃xff0c;也就是每个

3. 实验

单独频率分量的效果&＃xff0c;在ImageNet上的准确率&＃xff1a;

使用不同数量的频率分量的效果&＃xff1a;

和其他的方法的比较&＃xff1a;

将FcaNet作为物体检测的主干的时候&＃xff0c;在MS COCO上的结果&＃xff1a;

在MS COCO的实例分割时的效果&＃xff1a;

在附录的地方&＃xff0c;还做了关于频率组合策略的一些实验&＃xff0c;除了文中提到了选择topk个效果最好的频率之外&＃xff0c;还尝试了效果最差的k个&＃xff0c;还有频率最低的k个。Low-k表示频率最低的k个&＃xff0c;Bot-k表示效果最差的k个。

总结

模型效果很好&＃xff0c;改动也很简单&＃xff0c;涨点很明显。只是不清楚这个最佳的频率分量的组合的泛化性能怎么样&＃xff0c;能不能用到其他的数据集上。不过&＃xff0c;从作者给出的结果看&＃xff0c;选出来的其实主要还是低频的分量&＃xff0c;而且从low-k的效果来看&＃xff0c;也是挺好的&＃xff0c;那么&＃xff0c;其实只要按照low-k的方法选取分量&＃xff0c;应该也都是有效果的&＃xff0c;期待有人在更多数据集上做下类似的实验。

更多内容&＃xff0c;请关注微信公众号“AI公园”。