神经网络_卷积神经网络CNNs的理解与体会

https://blog.csdn.net/shijing_0214/article/details/53143393

孔子说过，温故而知新，时隔俩月再重看CNNs，当时不太了解的地方，又有了新的理解与体会，特此记录下来。文章图片及部分素材均来自网络，侵权请告知。

卷积神经网络（Convolutinal Neural Networks）是非常强大的一种深度神经网络，它在图片的识别分类、NLP句子分类等方面已经获得了巨大的成功，也被广泛使用于工业界，例如谷歌将它用于图片搜索、亚马逊将它用于商品推荐等。

首先给出几个CNNs应用的两个例子如下：

上图中的红色和绿色两个小方块对应两个卷积核，通过两轮卷积操作会产生两个特征图作为下一层的输入进行操作。

为什么在CNNs中激活函数选用ReLU，而不用sigmoid或tanh函数？这里给出网上的一个回答[3]"> [3]  [3]
：

第一个问题：为什么引入非线性激励函数？ 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了。 正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义了（不再是输入的线性组合，可以逼近任意函数）。最早的想法是sigmoid函数或者tanh函数，输出有界，很容易充当下一层输入（以及一些人的生物解释balabala）。

第二个问题：为什么引入ReLU呢？ 第一，采用sigmoid等函数，算激活函数时（指数运算），计算量大，反向传播求误差梯度时，求导涉及除法，计算量相对大，而采用ReLU激活函数，整个过程的计算量节省很多。 第二，对于深层网络，sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失，参见 @Haofeng Li 答案的第三点），从而无法完成深层网络的训练。 第三，ReLU会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生（以及一些人的生物解释balabala）。

接下来讲一下pooling过程。 池化pooling，也称为欠采样（subsampling）或下采样（downsampling），主要用于降低特征的维度，同时提高模型容错性，主要有max，average和sum等不同类型的操作。如下图对特征图进行最大池化的操作：

通过池化操作，使原本4&＃x00D7;">× ×
4的特征图变成了2&＃x00D7;">× ×
2，从而降低了特征维度，提高了容错性。 下图给出了模型经过池化的可视化表示： 是不是人眼不太容易分辨出来特征了？没关系，机器还是可以的。

3、输出层

经过若干次的卷积+线性修正+pooling后，模型会将学到的高水平的特征接到一个全连接层。这个时候你就可以把它理解为一个简单的多分类的神经网络，通过softmax函数得到输出，一个完整的过程如下图：

4、可视化

参考【1】中给了一个CNNs做手写体数字识别的2D可视化展示，可以看到每一层做了什么工作，很有意思，大家可以看看。

5、参考

【1】、An Intuitive Explanation of Convolutional Neural Networks 【2】、技术向：一文读懂卷积神经网络CNN  【3】、知乎Begin Again关于ReLU作用的回答