前向传播实战(手写梯度下降与前向计算，不做调参侠)

  我们这里使用张量的基本操作去完成三层神经网络的实现&＃xff1a;
out&＃61;ReLU(ReLu(ReLU(X&＃64;W1&＃43;b1)&＃64;W2&＃43;b2)&＃64;W3&＃43;b3)out&＃61;ReLU(ReLu(ReLU(X&＃64;W_1&＃43;b_1)&＃64;W_2&＃43;b_2)&＃64;W_3&＃43;b3) out&＃61;ReLU(ReLu(ReLU(X&＃64;W1​&＃43;b1​)&＃64;W2​&＃43;b2​)&＃64;W3​&＃43;b3)
  采用的数据集是MNIST手写数字图片数据集&＃xff0c;输入节点数为784&＃xff0c;第一层的输出节点数是256&＃xff0c;第二层的输出节点数是128&＃xff0c;第三层的输出节点数是10&＃xff0c;也就是当前样本属于10个类别的概率。

2.1 导入依赖

import os
import matplotlib.pyplot as plt
import tensorflow as tf
import tensorflow.keras.datasets as datasets
os.environ[&＃39;TF_CPP_MIN_LOG_LEVEL&＃39;]&＃61;&＃39;2&＃39;
plt.rcParams[&＃39;font.size&＃39;] &＃61; 16
plt.rcParams[&＃39;font.family&＃39;] &＃61; [&＃39;STKaiti&＃39;]
plt.rcParams[&＃39;axes.unicode_minus&＃39;] &＃61; False


2.2 加载数据集

def load_data():# 加载 MNIST 数据集(x, y), (x_val, y_val) &＃61; datasets.mnist.load_data()# 转换为浮点张量&＃xff0c; 并缩放到-1~1x &＃61; tf.convert_to_tensor(x, dtype&＃61;tf.float32) / 255.# 转换为整形张量y &＃61; tf.convert_to_tensor(y, dtype&＃61;tf.int32)# one-hot 编码y &＃61; tf.one_hot(y, depth&＃61;10)# 在前向计算时&＃xff0c;首先将shape为[b,28,28]的输入张量的视图调整为[b,784],即将每个图片的矩阵数据调整为向量特征&＃xff0c;这样才适合网络的输入格式&＃xff1a;# 改变视图&＃xff0c; [b, 28, 28] &＃61;> [b, 28*28]x &＃61; tf.reshape(x, (-1, 28 * 28))# 构建数据集对象train_dataset &＃61; tf.data.Dataset.from_tensor_slices((x, y))# 批量训练train_dataset &＃61; train_dataset.batch(200)return train_dataset


2.3 创建每个非线性层的W和b参数

  每个张量都需要被优化&＃xff0c;所以使用Variable类型&＃xff0c;并使用截断的正态分布初始化权值向量

# 创建每个非线性层的W和b张量参数
def init_paramaters():# 每层的张量都需要被优化&＃xff0c;故使用 Variable 类型&＃xff0c;并使用截断的正太分布初始化权值张量# 偏置向量初始化为 0 即可# 第一层的参数w1 &＃61; tf.Variable(tf.random.truncated_normal([784, 256], stddev&＃61;0.1))b1 &＃61; tf.Variable(tf.zeros([256]))# 第二层的参数w2 &＃61; tf.Variable(tf.random.truncated_normal([256, 128], stddev&＃61;0.1))b2 &＃61; tf.Variable(tf.zeros([128]))# 第三层的参数w3 &＃61; tf.Variable(tf.random.truncated_normal([128, 10], stddev&＃61;0.1))b3 &＃61; tf.Variable(tf.zeros([10]))return w1, b1, w2, b2, w3, b3


2.4 前向计算

  第一层计算&＃xff0c;这里显示地进行自动扩展操作&＃xff1a;

# 第一层计算&＃xff0c; [b, 784]&＃64;[784, 256] &＃43; [256] &＃61;> [b, 256] &＃43; [256] &＃61;> [b,256] &＃43; [b, 256]h1 &＃61; x &＃64; w1 &＃43; tf.broadcast_to(b1, (x.shape[0], 256))h1 &＃61; tf.nn.relu(h1) # 通过激活函数


  用同样地方法完成第二个和第三个非线性函数层地前向计算&＃xff0c;输出层可以不使用ReLU激活函数&＃xff1a;

# 第二层计算&＃xff0c; [b, 256] &＃61;> [b, 128]h2 &＃61; h1 &＃64; w2 &＃43; b2h2 &＃61; tf.nn.relu(h2)# 输出层计算&＃xff0c; [b, 128] &＃61;> [b, 10]out &＃61; h2 &＃64; w3 &＃43; b3


  将真实地标注张量y转变为独热编码&＃xff0c;并计算与out的均方误差&＃xff0c;代码如下&＃xff1a;

# 计算网络输出与标签之间的均方差&＃xff0c; mse &＃61; mean(sum(y-out)^2)# [b, 10]loss &＃61; tf.square(y - out)# 误差标量&＃xff0c; mean: scalarloss &＃61; tf.reduce_mean(loss)


  上述的前向计算过程都包裹在with tf.GradientTape() as tape上下文中&＃xff0c;使得前向计算时候能够保存计算图信息&＃xff0c;方便自动求导操作。

2.5 自动梯度与梯度更新

  通过tape.gradient()函数求得网络参数得到梯度信息&＃xff0c;结果保存在grads列表变量中&＃xff0c;实现如下&＃xff1a;

# 自动梯度&＃xff0c;需要求梯度的张量有[w1, b1, w2, b2, w3, b3]grads &＃61; tape.gradient(loss, [w1, b1, w2, b2, w3, b3])


  并按照公式&＃xff1a;
θ′&＃61;θ−η⋅∂ζ∂θ\theta &＃39;&＃61;\theta -\eta \cdot \frac{\partial \zeta }{\partial \theta } θ′&＃61;θ−η⋅∂θ∂ζ​
  来更新网络参数&＃xff1a;

# 梯度更新&＃xff0c; assign_sub 将当前值减去参数值&＃xff0c;原地更新w1.assign_sub(lr * grads[0])b1.assign_sub(lr * grads[1])w2.assign_sub(lr * grads[2])b2.assign_sub(lr * grads[3])w3.assign_sub(lr * grads[4])b3.assign_sub(lr * grads[5])


  其中&＃xff0c;assign_sub()将自身减去给定的参数值&＃xff0c;实现参数的原地(In-place)更新操作。

  网络训练误差值的变化曲线如下图所示&＃xff1a;

2.6 完整代码

import os
import matplotlib.pyplot as plt
import tensorflow as tf
import tensorflow.keras.datasets as datasets
os.environ[&＃39;TF_CPP_MIN_LOG_LEVEL&＃39;]&＃61;&＃39;2&＃39;
plt.rcParams[&＃39;font.size&＃39;] &＃61; 16
plt.rcParams[&＃39;font.family&＃39;] &＃61; [&＃39;STKaiti&＃39;]
plt.rcParams[&＃39;axes.unicode_minus&＃39;] &＃61; Falsedef load_data():# 加载 MNIST 数据集(x, y), (x_val, y_val) &＃61; datasets.mnist.load_data()# 转换为浮点张量&＃xff0c; 并缩放到-1~1x &＃61; tf.convert_to_tensor(x, dtype&＃61;tf.float32) / 255.# 转换为整形张量y &＃61; tf.convert_to_tensor(y, dtype&＃61;tf.int32)# one-hot 编码y &＃61; tf.one_hot(y, depth&＃61;10)# 改变视图&＃xff0c; [b, 28, 28] &＃61;> [b, 28*28]x &＃61; tf.reshape(x, (-1, 28 * 28))# 构建数据集对象train_dataset &＃61; tf.data.Dataset.from_tensor_slices((x, y))# 批量训练train_dataset &＃61; train_dataset.batch(200)return train_dataset# 创建每个非线性层的W和b张量参数
def init_paramaters():# 每层的张量都需要被优化&＃xff0c;故使用 Variable 类型&＃xff0c;并使用截断的正太分布初始化权值张量# 偏置向量初始化为 0 即可# 第一层的参数w1 &＃61; tf.Variable(tf.random.truncated_normal([784, 256], stddev&＃61;0.1))b1 &＃61; tf.Variable(tf.zeros([256]))# 第二层的参数w2 &＃61; tf.Variable(tf.random.truncated_normal([256, 128], stddev&＃61;0.1))b2 &＃61; tf.Variable(tf.zeros([128]))# 第三层的参数w3 &＃61; tf.Variable(tf.random.truncated_normal([128, 10], stddev&＃61;0.1))b3 &＃61; tf.Variable(tf.zeros([10]))return w1, b1, w2, b2, w3, b3def train_epoch(epoch, train_dataset, w1, b1, w2, b2, w3, b3, lr&＃61;0.001):for step, (x, y) in enumerate(train_dataset):with tf.GradientTape() as tape: # 默认跟踪的是tf.Variable类型# 第一层计算&＃xff0c; [b, 784]&＃64;[784, 256] &＃43; [256] &＃61;> [b, 256] &＃43; [256] &＃61;> [b,256] &＃43; [b, 256]h1 &＃61; x &＃64; w1 &＃43; tf.broadcast_to(b1, (x.shape[0], 256))h1 &＃61; tf.nn.relu(h1) # 通过激活函数# 第二层计算&＃xff0c; [b, 256] &＃61;> [b, 128]h2 &＃61; h1 &＃64; w2 &＃43; b2h2 &＃61; tf.nn.relu(h2)# 输出层计算&＃xff0c; [b, 128] &＃61;> [b, 10]out &＃61; h2 &＃64; w3 &＃43; b3# 计算网络输出与标签之间的均方差&＃xff0c; mse &＃61; mean(sum(y-out)^2)# [b, 10]loss &＃61; tf.square(y - out)# 误差标量&＃xff0c; mean: scalarloss &＃61; tf.reduce_mean(loss)# 自动梯度&＃xff0c;需要求梯度的张量有[w1, b1, w2, b2, w3, b3]grads &＃61; tape.gradient(loss, [w1, b1, w2, b2, w3, b3])# 梯度更新&＃xff0c; assign_sub 将当前值减去参数值&＃xff0c;原地更新w1.assign_sub(lr * grads[0])b1.assign_sub(lr * grads[1])w2.assign_sub(lr * grads[2])b2.assign_sub(lr * grads[3])w3.assign_sub(lr * grads[4])b3.assign_sub(lr * grads[5])if step % 100 &＃61;&＃61; 0:print(epoch, step, &＃39;loss:&＃39;, loss.numpy())return loss.numpy()def train(epochs):losses &＃61; []train_dataset &＃61; load_data()w1, b1, w2, b2, w3, b3 &＃61; init_paramaters()for epoch in range(epochs): # 20loss &＃61; train_epoch(epoch, train_dataset, w1, b1, w2, b2, w3, b3, lr&＃61;0.001)losses.append(loss)x &＃61; [i for i in range(0, epochs)]# 绘制曲线plt.plot(x, losses, color&＃61;&＃39;blue&＃39;, marker&＃61;&＃39;s&＃39;, label&＃61;&＃39;训练&＃39;)plt.xlabel(&＃39;Epoch&＃39;)plt.ylabel(&＃39;MSE&＃39;)plt.legend()plt.savefig(&＃39;MNIST数据集的前向传播训练误差曲线.png&＃39;)plt.show()if __name__ &＃61;&＃61; &＃39;__main__&＃39;:train(epochs&＃61;20)


看懂上面的代码必须将tensorflow的张量计算十分熟练才可以。

  刚开始我只会调用keras的API&＃xff0c;不知道底层是怎么计算的&＃xff0c;导致遇到复杂的模型看不懂别人的代码&＃xff0c;现在终于将梯度下降法和前向传播搞明白了(无非就是通过偏导数去更新参数W和b&＃xff0c;然后再计算损失)