四、经典网络2（AlexNet）

conv5 阶段 DFD&＃xff08;data flow diagram&＃xff09;&＃xff1a;

第五层输入数据为第四层输出的2组13*13*192的像素层&＃xff1b;为便于后续处理&＃xff0c;每幅像素层的左右两边和上下两边都要填充1个像素&＃xff1b;2组像素层数据都被送至2个不同的GPU中进行运算。每个GPU中都有128个卷积核&＃xff0c;每个卷积核的尺寸是3*3*192。因此&＃xff0c;每个GPU中的卷积核能对1组13*13*192的像素层的数据进行卷积运算。卷积核对每组数据的每次卷积都生成一个新的像素。卷积核沿像素层数据的x轴方向和y轴方向两个方向移动&＃xff0c;移动的步长是1个像素。因此&＃xff0c;运算后的卷积核的尺寸为(13-3&＃43;1*2)/1&＃43;1&＃61;13&＃xff08;13个像素减去3&＃xff0c;正好是10&＃xff0c;在加上上下、左右各填充的1个像素&＃xff0c;即生成12个像素&＃xff0c;再加上被减去的3也对应生成一个像素&＃xff09;&＃xff0c;每个GPU中共13*13*128个卷积核。2个GPU中共13*13*256个卷积后的像素层。这些像素层经过relu5单元的处理&＃xff0c;生成激活像素层&＃xff0c;尺寸仍为2组13*13*128像素层&＃xff0c;共13*13*256个像素层。

2组13*13*128像素层分别在2个不同GPU中进行池化(pool)运算处理。池化运算的尺度为3*3&＃xff0c;运算的步长为2&＃xff0c;则池化后图像的尺寸为(13-3)/2&＃43;1&＃61;6。 即池化后像素的规模为两组6*6*128的像素层数据&＃xff0c;共6*6*256规模的像素层数据。

fc6 阶段 DFD&＃xff08;data flow diagram&＃xff09;&＃xff1a;

第六层输入数据的尺寸是6*6*256&＃xff0c;采用6*6*256尺寸的滤波器对第六层的输入数据进行卷积运算&＃xff1b;每个6*6*256尺寸的滤波器对第六层的输入数据进行卷积运算生成一个运算结果&＃xff0c;通过一个神经元输出这个运算结果&＃xff1b;共有4096个6*6*256尺寸的滤波器对输入数据进行卷积运算&＃xff0c;通过4096个神经元输出运算结果&＃xff1b;这4096个运算结果通过relu激活函数生成4096个值&＃xff1b;并通过drop运算后输出4096个本层的输出结果值。

由于第六层的运算过程中&＃xff0c;采用的滤波器的尺寸(6*6*256)与待处理的feature map的尺寸(6*6*256)相同&＃xff0c;即滤波器中的每个系数只与feature map中的一个像素值相乘&＃xff1b;而其它卷积层中&＃xff0c;每个滤波器的系数都会与多个feature map中像素值相乘&＃xff1b;因此&＃xff0c;将第六层称为全连接层。

第五层输出的6*6*256规模的像素层数据与第六层的4096个神经元进行全连接&＃xff0c;然后经由relu6进行处理后生成4096个数据&＃xff0c;再经过dropout6处理后输出4096个数据。

fc7 阶段 DFD&＃xff08;data flow diagram&＃xff09;&＃xff1a;