反卷积(TransposedConvolution)详细推导

0、简介

问题&＃xff1a;计算机视觉中的反卷积(deconvolution)是使用了独立的可训练参数还是把前面的卷积核转置&＃xff1f;关于计算机视觉中的反卷积&＃xff08;deconvolution&＃xff09;还是没太弄懂&＃xff0c;我原以为反卷积的卷积核中的参数也是训练出来的&＃xff0c;只是因为放大了输出所以叫反卷积&＃xff0c;可今天看到讲关于卷积神经网络可视化的文章&＃xff0c;卷积神经网络的对特征图卷积核的可视化可以采用deconvolution的方法&＃xff0c;而且是把前面的卷积核转置一下就直接用&＃xff0c;而不是独立的训练其中参数&＃xff0c;如下图&＃xff1a;

答&＃xff1a;
框架里实现的是独立的可训练参数&＃xff0c;自己看一下pytorch代码&＃xff0c;或者Keras代码就清楚了。但是CNN可视化这篇论文里的反卷积是前面卷积核的转置&＃xff0c;仅仅是为了可视化而已

1、什么是反卷积&＃xff1f;

上采样(Upsample)

在应用在计算机视觉的深度学习领域&＃xff0c;由于输入图像通过卷积神经网络(CNN)提取特征后&＃xff0c;输出的尺寸往往会变小&＃xff0c;而有时我们需要将图像恢复到原来的尺寸以便进行进一步的计算(e.g.:图像的语义分割)&＃xff0c;这个采用扩大图像尺寸&＃xff0c;实现图像由小分辨率到大分辨率的映射的操作&＃xff0c;叫做上采样(Upsample)。

反卷积(Transposed Convolution)
上采样有3种常见的方法&＃xff1a;双线性插值(bilinear)&＃xff0c;反卷积(Transposed Convolution)&＃xff0c;反池化(Unpooling)&＃xff0c;我们这里只讨论反卷积。这里指的反卷积&＃xff0c;也叫转置卷积&＃xff0c;它并不是正向卷积的完全逆过程&＃xff0c;用一句话来解释&＃xff1a;

反卷积是一种特殊的正向卷积&＃xff0c;先按照一定的比例通过补 [公式] 来扩大输入图像的尺寸&＃xff0c;接着旋转卷积核&＃xff0c;再进行正向卷积。

2、反卷积的数学推导

正向卷积的实现过程
假设输入图像input尺寸为4x4&＃xff0c;元素矩阵为&＃xff1a;

卷积核kernel尺寸为3x3&＃xff0c;元素矩阵为&＃xff1a;

步长strides&＃61;1&＃xff0c;填充padding&＃61;0&＃xff0c;即i&＃61;4,k&＃61;3,s&＃61;1,p&＃61;0,则按照卷积计算公式

输出的图像output的尺寸为2x2

用矩阵乘法描述卷积

把input的元素矩阵展开成一个列向量X

把输出图像output的元素矩阵展开成一个列向量Y&＃xff1a;

对于输入的元素矩阵X和 输出的元素矩阵 Y&＃xff0c;用矩阵运算描述这个过程&＃xff1a;

通过推导&＃xff0c;我们可以得到稀疏矩阵 C &＃xff1a;

反卷积的操作就是要对这个矩阵运算过程进行逆运算&＃xff0c;即通过 C 和 Y 得到 X &＃xff0c;根据各个矩阵的尺寸大小&＃xff0c;我们能很轻易的得到计算的过程&＃xff0c;即为反卷积的操作&＃xff1a;

但是&＃xff0c;如果你代入数字计算会发现&＃xff0c;反卷积的操作只是恢复了矩阵 X 的尺寸大小&＃xff0c;并不能恢复 X 的每个元素值&＃xff0c;本文最后会在 tensorflow 平台进行这个实验

在此之前&＃xff0c;我们先给出反卷积图像尺寸变化的公式。

反卷积的输入输出尺寸关系

在进行反卷积时&＃xff0c;简单来说&＃xff0c;大体上可分为以下两种情况&＃xff1a;

Relationship 1&＃xff1a;

此时反卷积的输入输出尺寸关系为&＃xff1a;


如上图所示&＃xff0c;我们选择一个输入 input 尺寸为 3x3 &＃xff0c;卷积核 kernel 尺寸为 3x3 &＃xff0c;步长 strides&＃61;2&＃xff0c;填充 padding&＃61;1&＃xff0c;即 i&＃61;3,k&＃61;3,s&＃61;2,p&＃61;1 &＃xff0c;则输出 output 的尺寸为 o&＃61;2x(3-1)-2&＃43;3&＃61;5 。

Relationship 2&＃xff1a;

此时反卷积的输入输出尺寸关系为:


如上图所示&＃xff0c;我们选择一个输入 input 的尺寸为 3x3 &＃xff0c;卷积核 kernel 的尺寸为 3x3&＃xff0c;步长 strides&＃61;2&＃xff0c;填充 padding&＃61;1 &＃xff0c;即 i&＃61;3,k&＃61;3,s&＃61;2,p&＃61;1 &＃xff0c;则输出 output 的尺寸为o&＃61;2x(3-1)-2&＃43;3&＃43;1&＃61;6 。

反卷积在 FCN 中的应用

在图像语义分割网络 FCN-32s 中&＃xff0c;上采样反卷积操作的输入每张 {\E heatmap} 的尺寸是 7x7
&＃xff0c;我们希望进行一次上采样后能恢复成原始图像的尺寸 224x224 &＃xff0c;代入公式&＃xff1a;

根据上式&＃xff0c;我们可以得到一个关于 s,k,p 三者之间关系的等式&＃xff1a;

通过实验&＃xff0c;最终找出了最合适的一组数据&＃xff1a;