深度学习之pytorch（四）

卷积神经网络
训练数据的方法就是会给计算机提供每种类别 的图片，让机器自己去学习其中的特征并形成一个算法，因为这些算法是依赖于数据集的，所以也被称为是数据驱动的算法。

卷积神经网络的原理
1.局部性
往往图片的的类别是通过图片的特征来决定的，而这些决定一般是由一些局部的区域决定的。

2.相同性
对于不同的图片，如果有同样的特征，这些特征会出现在图片的不同位置，也就是说可以用同样的检测模式去检测不同图片的相同特征，也就是操作是一样的，但是位置是不一样的。
3.不变性
也就是对一张大图片，进行采样（放大），图片的性质基本上保持不变。

卷积神经网络主要就三层，分别是卷积层，池化层和全连接层，并通过堆叠这些层结果形成一个完整的卷积神经网络结果。

然后开始依次介绍这些层次。
卷积层
首先卷积层的输入尺寸是WHD,并且有四个超参数，分别是滤波器数量K，滤波器数量K，滤波器空间尺寸F，滑动步长S，零填充的数量P，输出数据体的尺寸为W2H2D2，其中W2=(W1-F+2P)/S+1,H2=（H1-F+2P）/S+1,D2=K,并且由于参数共享，每个滤波器包含的权重数目为FFD1，卷积层一共有FFD1*K个权重和K个偏置。在输出体数据中，第D个深度切片，用第D个滤波器和输入数据进行有效卷积运算的结果，再加上第d个偏置。

池化层
他的作用是逐渐降低数据体的空间尺寸，减少网络中参数的数量，减少计算资源耗费，同时也有效控制过拟合。

他的性质一般是输入尺寸是W1H1D1，有两个需要设置的超参数，空间大小F和滑动步长S，输出数据体的尺寸是W2H2D2,其中W2=(W1-F)/S+1,H2=(H1-F)/S+1.D2=D1,对输入进行固定函数的计算，没有参数引入，并且很少引入零填充。

全连接层
他和一般的神经网络结构是一样的，每个神经元和前一层所有的神经元全部连接，而卷积神经网络和输入数据的一个局部区域连接，并且和输出的神经元每个深度切片共享参数。

卷积网络的基本形式是

PyTorch卷积模块
1.卷积层
对应的卷积模块就是nn.Conv2d()，有相应的5个参数，分别是in_channels,out_channels,kernel_size,stride,padding，除此之外还有参数dilation,groups,bias.
in_channels是输入数据体的深度，out_channels是输出数据体的深度，kernel_size是滤波器的大小，可以用一个数字来表示对应的高和宽，当然也可以用不同的数字来表示。stride表示滑动的步长，padding=0表示四周不进行零填充，而=1的话表示进行1像素点的零填充，bias是一个布尔值，默认是true，groups则是输入和输出数据体深度上的联系，默认是1，也就是都是有关联的，而=2的话，意味着两个都被分割成了两份。

2.池化层
对应的卷积模型适nn.MaxPool2d(),辨识网络中的最大值池化，有以下参数kernel_size,stride,padding,dilation,return_indices,ceil_mode
有些在之前的卷积层已经介绍过了，而return_indices表示的是是否返回最大值所处的下边，默认是false，而ceil_mode表示的是使用一些方格代替层结构，默认是false，一般都不会设置这些参数，而nn.AvgPool2d()表示均值池化，里面的参数和nn.MaxPool2d()类似

提取层结构
这个的作用是在于，如果不想要模型中所有的层结构，只希望能够提取网络中的某一层或几层的。
再举例几个重要的属性，第一个是children()，他会返回下一级模块的迭代器，而不是他们内部的东西，modules()会返回模型中所有模块的迭代器。

卷积神经网络的案例分析
1.LeNet

2.AlexNet

3.VGGNet

4.GoogleNet

5.ResNet

书中举了一个实现MNIST手写数字分类的例子，他的验证集能达到98%，甚至到99%。做法就是建立4层卷积，2层最大池化，卷积之后使用批标准化加快收敛速度，使用ReLU**函数增加非线性，最后使用全连接层输出分类得分。