全连接层与torch.nn.linear()理解

全连接层定义

全连接层&＃xff08;fully connected layers, FC)在整个卷积神经网络中起到”分类器“的作用。如果说卷积层&＃xff0c;池化层和激活函数层和激活函数层等操作是将原始数据映射到隐层特征空间的话&＃xff0c;全连接层则起到将学到的”分布式特征表示“映射到样本标记空间的作用。在实际使用中&＃xff0c;全连接层可由卷积操作实现&＃xff1b;

对前层是全连接的全连接层可以转化为卷积核为1*1的卷积&＃xff0c;而前层是卷积层的全连接层可以转化为卷积核为h*w的全局卷积&＃xff0c;h和w分别为前层卷积结果的高和宽。

全连接的核心操作就是矩阵向量乘积y&＃61;Wx

本质就是由一个特征空间线性变换到另一个特征空间。目标空间中的任一维——也就是隐层的一个cell——都认为会受到源空间的每一维的影响。不考虑严谨&＃xff0c;可以说&＃xff0c;目标向量是源向量的加权和。

在CNN中&＃xff0c;全连接常出现在最后几层&＃xff0c;用于对于前面设计的特征做加权和&＃xff0c;比如mnist&＃xff0c;前面的卷积和池化相当于做特征工程&＃xff0c;后面的全连接相当于做特征加权。&＃xff08;卷积相当于全连接的有意弱化&＃xff0c;按照局部视野的启发&＃xff0c;把局部之外的弱影响直接抹为0影响&＃xff0c;还做了一点强制&＃xff0c;不同的局部所使用的参数居然一致。弱化使参数变少&＃xff0c;节省计算量&＃xff0c;又专攻局部不贪多求全&＃xff0c;强制进一步减少参数。在RNN中&＃xff0c;全连接用来把embedding空间拉到隐层空间&＃xff0c;把隐层空间转回label空间等。

在pytorch中的nn.Linear表示线性变换&＃xff0c;官方文档给出的数学计算公式是

根nn.linear的定义&＃xff0c;输出y为

备注&＃xff1a;这里需要注意下&＃xff0c;偏置b的加法与普通的矩阵加法不太一样&＃xff0c;这里只需要保持偏置b的列数与输出y的列数相同即可&＃xff0c;对应位置元素相加&＃xff0c;每一行都是加的同样的偏置