环境

反向传播

神经网络存在的问题及优化方法

存在问题

优化方法

随机梯度下降

Mini-Batch梯度下降

动量梯度下降

解决方法

主要问题

主要解决方法

相关计算

卷积及卷积核

卷积核的物理含义

卷积处理多通道生成单通道图像

卷积处理多通道生成多通道图像

激活函数

卷积核的参数

池化

基本计算

池化的特点

全连接

卷积神经网络结构

卷积神经网络

全卷积神经网络

代码

参考资料

---

环境

python 3.6 &＃43; TensorFlow 1.13.1 &＃43; Jupyter Notebook

反向传播

即复合函数求导&＃xff0c;链式法则为实现基础。

神经网络存在的问题及优化方法

存在问题

1、每次都在整个数据集上计算Loss和梯度&＃xff0c;导致&＃xff1a;

&＃xff08;1&＃xff09;计算量大&＃xff1b;

&＃xff08;2&＃xff09;内存可能承载不了&＃xff1b;

2、梯度方向确定的时候&＃xff0c;仍然是每次走一个单位步长&＃xff0c;导致&＃xff1a;速度太慢。

优化方法

随机梯度下降

每次只使用一个样本。

缺点&＃xff1a;不能反应整个数据集的梯度方向&＃xff0c;导致每次训练的收敛速度较慢。

Mini-Batch梯度下降

每次使用小部分随机选择的数据进行训练。

缺点&＃xff1a;梯度下降存在震荡问题&＃xff08;Mini-Batch越大&＃xff0c;这个问题越不明显&＃xff09;&＃xff1b;存在局部极值和saddle point问题。

动量梯度下降

解决了收敛速度慢、震荡、局部极值、saddle point的问题。

&＃xff08;1&＃xff09;开始训练时&＃xff0c;积累动量&＃xff0c;加速训练&＃xff1b;

&＃xff08;2&＃xff09;局部极值附近震荡时&＃xff0c;梯度为0&＃xff0c;由于动量&＃xff0c;跳出陷阱&＃xff1b;

&＃xff08;3&＃xff09;梯度改变方向的时候&＃xff0c;动量缓解动荡。

    

解决方法

主要问题

神经网络遇到的最主要问题&＃xff1a;参数过多&＃xff0c;导致&＃xff1a;

&＃xff08;1&＃xff09;计算量大&＃xff1b;

&＃xff08;2&＃xff09;容易过拟合&＃xff0c;需要更多的训练数据&＃xff1b;

&＃xff08;3&＃xff09;收敛到较差的局部极值。

主要解决方法

卷积&＃xff1a;

&＃xff08;1&＃xff09;局部连接&＃xff08;全连接变为局部连接&＃xff0c;减少数据量&＃xff09;&＃xff1a;图像的区域性&＃xff1b;

&＃xff08;2&＃xff09;参数共享&＃xff1a;图像特征与位置无关。

相关计算

卷积计算&＃xff1a;每个位置进行内积运算。

输出size &＃61; 输入size – 卷积核size &＃43; 1

步长&＃xff1a;卷积核每步滑动的长度&＃xff08;卷积的默认步长为1&＃xff09;。

Padding&＃xff1a;使输出size不变。

&＃xff08;下图的“输出size &＃61; 输入size – 卷积核size &＃43; 1”&＃xff0c;输入size是指已经加上Padding的size&＃xff09;

输出size &＃61; 输入size &＃43; Padding * 2 – 卷积核size &＃43; 1

卷积及卷积核

卷积核的物理含义

可认为卷积核是用于提取某个特征的&＃xff0c;输入图像若具有卷积核所标识的特征&＃xff0c;则输出值较大&＃xff0c;否则较小。

卷积处理多通道生成单通道图像

卷积处理多通道生成多通道图像

即增加多个参数不共享的卷积核。

激活函数

激活函数的特征&＃xff08;常用ReLU&＃xff0c;快速&＃xff09;&＃xff1a;

&＃xff08;1&＃xff09;具有单调性&＃xff1b;

&＃xff08;2&＃xff09;非线性函数&＃xff08;原因&＃xff1a;神经网络层级之间全连接相当于矩阵运算&＃xff0c;矩阵的操作具有合并性&＃xff0c;若为线性运算&＃xff0c;多层神经网络相当于单层神经网络&＃xff09;。

卷积核的参数

n为输入图像大小。

池化

基本计算

池化默认步长与核相等&＃xff0c;卷积默认步长为1。

&＃xff08;1&＃xff09;最大值池化&＃xff1b;&＃xff08;2&＃xff09;平均值池化。

池化的特点

精度与计算量的trade off。

&＃xff08;1&＃xff09;常使用不重叠、不补零&＃xff1b;

&＃xff08;2&＃xff09;没有用于求导的参数&＃xff1b;

&＃xff08;3&＃xff09;池化层参数为步长和池化核大小&＃xff1b;

&＃xff08;4&＃xff09;用于减少图像尺寸&＃xff0c;从而减少计算量&＃xff1b;

&＃xff08;5&＃xff09;一定程度解决平移鲁棒&＃xff1b;

&＃xff08;6&＃xff09;损失了空间位置精度。

全连接

全卷积之后不能再加卷积和池化层。

全连接层的参数数目占据整个神经网络参数的大部分&＃xff08;约60%~80%&＃xff09;。

&＃xff08;1&＃xff09;将上一层输出展开并连接到每一个神经元上&＃xff1b;

&＃xff08;2&＃xff09;即普通神经网络的层&＃xff1b;

&＃xff08;3&＃xff09;相比于卷积层&＃xff0c;参数数目较大。

参数数目 &＃61; Ci * Co

&＃xff08;Ci/Co为输入输出通道数目&＃xff09;

卷积神经网络结构

卷积神经网络

卷积神经网络 &＃61; 卷积层 &＃43; 池化层 &＃43; 全连接层

图像 --> 图像的操作&＃xff1a;去除全连接层&＃xff1b;

小图 --> 大图&＃xff1a;反卷积。

全卷积神经网络

全卷积神经网络 &＃61; 卷积层 &＃43; 池化层

代码

TensorFlow实现&＃xff1a;卷积层与池化层

conv1 &＃61; tf.layers.conv2d(x_image,32, # output channel number(3,3), # kernel sizepadding &＃61; &＃39;same&＃39;,activation &＃61; tf.nn.relu,name &＃61; &＃39;conv1&＃39;)
# 16 * 16
pooling1 &＃61; tf.layers.max_pooling2d(conv1,(2, 2), # kernel size(2, 2), # stridename &＃61; &＃39;pool1&＃39;)
conv2 &＃61; tf.layers.conv2d(pooling1,32, # output channel number(3,3), # kernel sizepadding &＃61; &＃39;same&＃39;,activation &＃61; tf.nn.relu,name &＃61; &＃39;conv2&＃39;)
# 8 * 8
pooling2 &＃61; tf.layers.max_pooling2d(conv2,(2, 2), # kernel size(2, 2), # stridename &＃61; &＃39;pool2&＃39;)
conv3 &＃61; tf.layers.conv2d(pooling2,32, # output channel number(3,3), # kernel sizepadding &＃61; &＃39;same&＃39;,activation &＃61; tf.nn.relu,name &＃61; &＃39;conv3&＃39;)
# 4 * 4 * 32
pooling3 &＃61; tf.layers.max_pooling2d(conv3,(2, 2), # kernel size(2, 2), # stridename &＃61; &＃39;pool3&＃39;)

TensorFlow实现&＃xff1a;全连接层

# [None, 4 * 4 * 32]
flatten &＃61; tf.layers.flatten(pooling3)

TensorFlow实现&＃xff1a;卷积神经网络

x &＃61; tf.placeholder(tf.float32, [None, 3072])
y &＃61; tf.placeholder(tf.int64, [None])
# [None], eg: [0,5,6,3]
x_image &＃61; tf.reshape(x, [-1, 3, 32, 32])
# 32*32
x_image &＃61; tf.transpose(x_image, perm&＃61;[0, 2, 3, 1])conv1 &＃61; tf.layers.conv2d(x_image,32, # output channel number(3,3), # kernel sizepadding &＃61; &＃39;same&＃39;,activation &＃61; tf.nn.relu,name &＃61; &＃39;conv1&＃39;)
# 16 * 16
pooling1 &＃61; tf.layers.max_pooling2d(conv1,(2, 2), # kernel size(2, 2), # stridename &＃61; &＃39;pool1&＃39;)
conv2 &＃61; tf.layers.conv2d(pooling1,32, # output channel number(3,3), # kernel sizepadding &＃61; &＃39;same&＃39;,activation &＃61; tf.nn.relu,name &＃61; &＃39;conv2&＃39;)
# 8 * 8
pooling2 &＃61; tf.layers.max_pooling2d(conv2,(2, 2), # kernel size(2, 2), # stridename &＃61; &＃39;pool2&＃39;)
conv3 &＃61; tf.layers.conv2d(pooling2,32, # output channel number(3,3), # kernel sizepadding &＃61; &＃39;same&＃39;,activation &＃61; tf.nn.relu,name &＃61; &＃39;conv3&＃39;)
# 4 * 4 * 32
pooling3 &＃61; tf.layers.max_pooling2d(conv3,(2, 2), # kernel size(2, 2), # stridename &＃61; &＃39;pool3&＃39;)
# [None, 4 * 4 * 32]
flatten &＃61; tf.layers.flatten(pooling3)
y_ &＃61; tf.layers.dense(flatten, 10)loss &＃61; tf.losses.sparse_softmax_cross_entropy(labels&＃61;y, logits&＃61;y_)
# y_ -> sofmax
# y -> one_hot
# loss &＃61; ylogy_# indices
predict &＃61; tf.argmax(y_, 1)
# [1,0,1,1,1,0,0,0]
correct_prediction &＃61; tf.equal(predict, y)
accuracy &＃61; tf.reduce_mean(tf.cast(correct_prediction, tf.float64))with tf.name_scope(&＃39;train_op&＃39;):train_op &＃61; tf.train.AdamOptimizer(1e-3).minimize(loss)

参考资料

图片、内容引自&＃xff1a;https://coding.imooc.com/class/259.html