lenet5卷积神经网络过程_卷积神经网络LeNet5各层参数详解

一. 理解卷积和子采样

卷积过程&＃xff1a;用一个可训练的滤波器fx去卷积一个输入的图像(第一阶段是输入的图像&＃xff0c;后面的阶段就是卷积特征map)&＃xff0c;然后加一个偏置bx&＃xff0c;得到卷积层Cx;

子采样过程&＃xff1a;邻域四个像素求和变为一个像素&＃xff0c;然后通过标量W加权&＃xff0c;再增加偏置b&＃xff0c;然后通过一个sigmoid激活函数&＃xff0c;产生一个缩小四倍的特征映射图Sx&＃43;1

二. 理解用卷积代替全连接

三. 通过基本的神经元模型理解可训练参数与连接数

四. 各层参数详解

LeNet-5共有7层&＃xff0c;不包含输入&＃xff0c;每层都包含可训练参数&＃xff1b;每个层有多个Feature Map&＃xff0c;每个FeatureMap通过一种卷积滤波器提取输入的一种特征&＃xff0c;然后每个FeatureMap有多个神经元。

1. C1层是一个卷积层

输入图片&＃xff1a;32*32

卷积核大小&＃xff1a;5*5

卷积核种类&＃xff1a;6

输出featuremap大小&＃xff1a;28*28 (32-5&＃43;1)

神经元数量&＃xff1a;28*28*6

可训练参数&＃xff1a;(5*5&＃43;1)*6(每个滤波器5*5&＃61;25个unit参数和一个bias参数&＃xff0c;一共6个滤波器)

连接数&＃xff1a;(5*5&＃43;1)*6*28*28

2. S2层是一个下采样层

输入&＃xff1a;28*28

采样区域&＃xff1a;2*2

采样方式&＃xff1a;4个输入相加&＃xff0c;乘以一个可训练参数&＃xff0c;再加上一个可训练偏置。结果通过sigmoid

采样种类&＃xff1a;6

输出featureMap大小&＃xff1a;14*14(28/2)

神经元数量&＃xff1a;14*14*6

可训练参数&＃xff1a;2*6(和的权&＃43;偏置)

连接数&＃xff1a;(2*2&＃43;1)*6*14*14

S2中每个特征图的大小是C1中特征图大小的1/4

3. C3层也是一个卷积层

输入&＃xff1a;S2中所有6个或者几个特征map组合

卷积核大小&＃xff1a;5*5

卷积核种类&＃xff1a;16

输出featureMap大小&＃xff1a;10*10

C3中的每个特征map是连接到S2中的所有6个或者几个特征map的&＃xff0c;表示本层的特征map是上一层提取到的特征map的不同组合

存在的一个方式是&＃xff1a;C3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入。最后一个将S2中所有特征图为输入。

则&＃xff1a;可训练参数&＃xff1a;6*(3*25&＃43;1)&＃43;6*(4*25&＃43;1)&＃43;3*(4*25&＃43;1)&＃43;(25*6&＃43;1)&＃61;1516

连接数&＃xff1a;10*10*1516&＃61;151600

4. S4层是一个下采样层

输入&＃xff1a;10*10

采样区域&＃xff1a;2*2

采样方式&＃xff1a;4个输入相加&＃xff0c;乘以一个可训练参数&＃xff0c;再加上一个可训练偏置。结果通过sigmoid

采样种类&＃xff1a;16

输出featureMap大小&＃xff1a;5*5(10/2)

神经元数量&＃xff1a;5*5*16&＃61;400

可训练参数&＃xff1a;2*16&＃61;32(和的权&＃43;偏置)

连接数&＃xff1a;16*(2*2&＃43;1)*5*5&＃61;2000

S4中每个特征图的大小是C3中特征图大小的1/4&＃xfffd;

5. C5层是一个卷积层

输入&＃xff1a;S4层的全部16个单元特征map(与s4全相连)

卷积核大小&＃xff1a;5*5

卷积核种类&＃xff1a;120

输出featureMap大小&＃xff1a;1*1(5-5&＃43;1)

可训练参数/连接&＃xff1a;120*(16*5*5&＃43;1)&＃61;48120

6. F6层全连接层

输入&＃xff1a;c5 120维向量

计算方式&＃xff1a;计算输入向量和权重向量之间的点积&＃xff0c;再加上一个偏置&＃xff0c;结果通过sigmoid函数

可训练参数:84*(120&＃43;1)&＃61;10164