深度学习图像分类（二）：AlexNet

深度学习图像分类&＃xff08;二&＃xff09;&＃xff1a;AlexNet

前言

2012年&＃xff0c;Alex Krizhevsky、Ilya Sutskever在多伦多大学Geoff Hinton的实验室设计出了一个深层的卷积神经网络AlexNet&＃xff0c;夺得了2012年ImageNet LSVRC的冠军&＃xff0c;且准确率远超第二名&＃xff08;top5错误率为15.3%&＃xff0c;第二名为26.2%&＃xff09;&＃xff0c;引起了很大的轰动。AlexNet可以说是具有历史意义的一个网络结构&＃xff0c;在此之前&＃xff0c;深度学习已经沉寂了很长时间&＃xff0c;自2012年AlexNet诞生之后&＃xff0c;后面的ImageNet冠军都是用卷积神经网络&＃xff08;CNN&＃xff09;来做的&＃xff0c;并且层次越来越深&＃xff0c;使得CNN成为在图像识别分类的核心算法模型&＃xff0c;带来了深度学习的大爆发。
小tips: Alex并没有给自己的网络起名字&＃xff0c;所以后人为了方便将这个网络成为AlexNet。同学们如果不想让别人给自己的网络起名字&＃xff0c;写论文的时候记得起个名字~

一、AlexNet理论

AlexNet其实跟LeNet很像很像&＃xff0c;几乎可以说是LeNet的升级版&＃xff0c;都是有卷积和全连接组成。AlexNet之所以能够成功&＃xff0c;跟这个模型设计的特点有关&＃xff0c;主要有&＃xff1a;

• 使用了非线性激活函数&＃xff1a;ReLU
• 随机失活&＃xff1a;Dropout
• 数据扩充&＃xff1a;Data augmentation
• 其他&＃xff1a;多GPU实现&＃xff0c;LRN归一化层的使用

1. 激活函数&＃xff1a;ReLU

传统的神经网络普遍使用Sigmoid或者tanh等非线性函数作为激励函数&＃xff0c;然而它们容易出现梯度弥散或梯度饱和的情况。以Sigmoid函数为例&＃xff0c;如下图所示&＃xff0c;当输入的值非常大或者非常小的时候&＃xff0c;这些神经元的梯度接近于0&＃xff08;梯度饱和现象&＃xff09;&＃xff0c;如果输入的初始值很大的话&＃xff0c;梯度在反向传播时因为需要乘上一个Sigmoid导数&＃xff0c;会造成梯度越来越小&＃xff0c;导致网络变的很难学习。

relu函数直到现在也是学术界和工业界公认的最好用的激活函数之一&＃xff0c;在各个不同领域不同模型下的使用非常之多。

2. 随机失活&＃xff1a;Dropout

引入Dropout主要是为了防止网络在训练过程中由于参数冗余出现的过拟合现象。在神经网络中Dropout通过修改神经网络本身结构来实现&＃xff0c;对于某一层的神经元&＃xff0c;通过定义的概率将神经元置为0&＃xff0c;这个神经元就不参与前向和后向传播&＃xff0c;就如同在网络中被删除了一样&＃xff0c;同时保持输入层与输出层神经元的个数不变&＃xff0c;然后按照神经网络的学习方法进行参数更新。在下一次迭代中&＃xff0c;又重新随机删除一些神经元&＃xff08;置为0&＃xff09;&＃xff0c;直至训练结束。

3. 数据扩充&＃xff1a;Data augmentation

由于神经网络算法是基于数据驱动的&＃xff0c;因此&＃xff0c;有一种观点认为神经网络是靠数据喂出来的&＃xff0c;如果能够增加训练数据&＃xff0c;提供海量数据进行训练&＃xff0c;则能够有效提升算法的准确率&＃xff0c;因为这样可以避免过拟合&＃xff0c;从而可以进一步增大、加深网络结构。而当训练数据有限时&＃xff0c;可以通过一些变换从已有的训练数据集中生成一些新的数据&＃xff0c;以快速地扩充训练数据。
其中&＃xff0c;最简单、通用的图像数据变形的方式&＃xff1a;水平翻转图像&＃xff0c;从原始图像中随机裁剪、平移变换&＃xff0c;颜色、光照变换&＃xff0c;如下图所示&＃xff1a;

数据增广确实是提升模型的有效手段&＃xff0c;而且最近的增广方式也不仅限于这种随即裁剪&＃xff0c;也可以使用生成对抗网络进行图像生成来达到图像增广的目的。

4. 多GPU实现

AlexNet当时使用了GTX580的GPU进行训练&＃xff0c;由于单个GTX 580 GPU只有3GB内存&＃xff0c;这限制了在其上训练的网络的最大规模&＃xff0c;因此他们在每个GPU中放置一半核&＃xff08;或神经元&＃xff09;&＃xff0c;将网络分布在两个GPU上进行并行计算&＃xff0c;大大加快了AlexNet的训练速度。

5. 局部响应归一化(LRN)

Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。通过实验确实证明它可以提高模型的泛化能力&＃xff0c;但是提升的很少&＃xff0c;以至于后面不再使用&＃xff0c;甚至有人觉得它是一个“伪命题”&＃xff0c;因而它饱受争议。现在基本上已经被Batch Normalization代替。

因此&＃xff0c;这里简单介绍一下&＃xff1a;
局部归一化的灵感来源
在神经生物学中&＃xff0c;有一个概念叫做侧抑制&＃xff08;lateral inhibitio &＃xff09;&＃xff0c;指的是被激活的神经元会抑制它周围的神经元&＃xff0c;而归一化&＃xff08;normalization&＃xff09;的的目的不就是“抑制”吗&＃xff0c;两者不谋而合&＃xff0c;这就是局部归一化的动机&＃xff0c;它就是借鉴“侧抑制”的思想来实现局部抑制&＃xff0c;当我们使用RELU损失函数的时候&＃xff0c;这种局部抑制显得很有效果。

归一化的好处
&＃xff08;1&＃xff09;为了后面数据处理的方便&＃xff0c;归一化的确可以避免一些不必要的数值问题。
&＃xff08;2&＃xff09;为了程序运行时收敛加快。
&＃xff08;3&＃xff09;同一量纲。样本数据的评价标准不一样&＃xff0c;需要对其量纲化&＃xff0c;统一评价标准。这算是应用层面的需求。
&＃xff08;4&＃xff09;避免神经元饱和。就是当神经元的激活在接近0或者1时会饱和&＃xff0c;在这些区域&＃xff0c;梯度几乎为0&＃xff0c;这样&＃xff0c;在反向传播过程中&＃xff0c;局部梯度就会接近0&＃xff0c;这会有效地“杀死”梯度。
&＃xff08;5&＃xff09;保证输出数据中数值小的不被吞食。

实验总结
由于LRN模仿生物神经系统的侧抑制机制&＃xff0c;对局部神经元的活动创建竞争机制&＃xff0c;使得响应比较大的值会更大&＃xff0c;提高了模型的泛化能力&＃xff0c;Hinton在ImageNet中的实验准确率分别提升了1.4%和1.2%。

二、 AlexNet代码

这里给出模型搭建的python代码&＃xff08;基于pytorch实现&＃xff09;。完整的代码是基于图像分类问题的&＃xff08;包括训练和推理脚本&＃xff0c;自定义层等&＃xff09;详见我的GitHub&＃xff1a; 完整代码链接
ps:里面还有其他经典模型的代码复现&＃xff0c;希望对大家有用

from turtle import forward
import torch
import torch.nn as nnfrom custom_layers.CustomLayers import ConvActivation# 由于分类层结构是全连接&＃xff0c;因此限制模型输入的图像大小为224*224
# 卷积后特征图尺寸不变的常用参数组合&＃xff1a;&＃xff08;K&＃61;7,s&＃61;1,p&＃61;3&＃xff09; &＃xff08;K&＃61;5,s&＃61;1,p&＃61;2&＃xff09; &＃xff08;K&＃61;3,s&＃61;1,p&＃61;1&＃xff09;class AlexNet(nn.Module):def __init__(self, num_classes, input_channels&＃61;3, init_weights &＃61; True):super().__init__()self.features &＃61; nn.Sequential(# in[3,224,224] &＃61;&＃61;> out[48,55,55] &＃61;&＃61;> out[48,27,27]ConvActivation(input_channels&＃61;input_channels, output_channels&＃61;48, kernel_size&＃61;11, stride&＃61;4, padding&＃61;2),nn.MaxPool2d(kernel_size&＃61;3, stride&＃61;2),# in[128,27,27] &＃61;&＃61;> out[128,27,27] &＃61;&＃61;> out[128,13,13]ConvActivation(input_channels&＃61;48, output_channels&＃61;128, kernel_size&＃61;5, padding&＃61;2),nn.MaxPool2d(kernel_size&＃61;3, stride&＃61;2),# in[128,13,13] &＃61;&＃61;> out[192,13,13]ConvActivation(input_channels&＃61;128, output_channels&＃61;192, kernel_size&＃61;3, padding&＃61;1),# in[192,13,13] &＃61;&＃61;> out[192,13,13] ConvActivation(input_channels&＃61;192, output_channels&＃61;192, kernel_size&＃61;3, padding&＃61;1),# in[192,13,13] &＃61;&＃61;> out[128,13,13] &＃61;&＃61;> out[128,6,6]ConvActivation(input_channels&＃61;192, output_channels&＃61;128, kernel_size&＃61;3, padding&＃61;1),nn.MaxPool2d(kernel_size&＃61;3, stride&＃61;2))self.classifier &＃61; nn.Sequential(nn.Dropout(p&＃61;0.5),nn.Linear(128*6*6, 2048),nn.ReLU(True),nn.Dropout(p&＃61;0.4),nn.Linear(2048, 2048),nn.ReLU(True),nn.Linear(2048, num_classes))if init_weights:self._initialize_weights() def _initialize_weights(self):for m in self.modules():if isinstance(m, nn.Conv2d):nn.init.kaiming_normal_(m.weight, mode&＃61;&＃39;fan_out&＃39;, nonlinearity&＃61;&＃39;relu&＃39;)if m.bias is not None:nn.init.constant_(m.bias, 0)elif isinstance(m, nn.Linear):nn.init.normal_(m.weight,0,0.01)nn.init.constant_(m.bias,0)def forward(self, x):assert x.shape[2] &＃61;&＃61; 224 and x.shape[3] &＃61;&＃61; 224, " input images size should be 224*224 "x &＃61; self.features(x)x &＃61; torch.flatten(x, start_dim&＃61;1)x &＃61; self.classifier(x)return x

小结

AelxNet可以说掀起了人工智能的第三次浪潮&＃xff1a;深度学习的时代。其历史影响深远。
虽然里面的技术在现在看来没什么创新点&＃xff0c;但是放在当时&＃xff0c;其性能也甩了其他算法好几条街。