卷积神经网络的权值参数个数的量化分析

考虑 的输入图像：

• 全连接，隐层神经元的数目为

卷积，卷积核的大小为 时，

• 步长为 10，表示的是输入图像可划分的块数，也即经卷机作用后的输出图像；
• 步长为 1，
• 在不考虑步长的前提下，可近似将待学习的参数的数目视为

1. 全连接层对参数个数的显著提升

现考虑图像输入层和 500 个隐层神经元的全连接：

• MNIST：
• CIfar：，极大地降低了参数的规模；

参数增多导致计算速度减慢，且很容易导致过拟合。

2. 卷积的共享参数特性

通过一个某一卷积核（过滤器），将一个 本次卷积操作，共需要的参数为：

+5 表示偏值项参数，

对于 cifar-10 数据集，输入层矩阵的维度是 深度为 16，则此卷基层的参数为：

注意区分卷积层的参数，与当前输入层与卷积层的连接的个数（也即参数的个数与连接的数目）：

比如对于 LeNet-5 网络， 的特征映射：

• 卷积层的参数：
  
  • 核的长*核的宽*输入的通道数*输出的通道数；
• 卷积层共
  
  • 连接的数目与输入层的大小无关；

3. 卷积输出矩阵尺寸的大小

通过使用填充（padding，比如 zero-padding），或者使用过滤器移动的步长来结果输出矩阵的大小。

下面的公式给出在同时使用全零填充时结果矩阵的大小：

如果不使用填充：