吴恩达神经网络和深度学习（编程作业）具有一个隐藏层的神经网络

【前言】

这是第三周的编程作业
以下只是主要部分的代码&＃xff0c;需要用到的资料可以访问 我的GitHub 进行获取
这是我的文件目录&＃xff1a;

我是用的PyCharm&＃xff0c;如果你没有安装相应的依赖库&＃xff0c;请按照以下方式进行安装&＃xff1a;
首先打开&＃xff1a;terminal

输入以下命令&＃xff1a;

pip install matplotlib


诸如此类…

one_hiddenlayer_neural_network.py文件&＃xff1a;


import numpy as np
import matplotlib.pyplot as plt
from testCases import *
from planar_utils import plot_decision_boundary, sigmoid, load_planar_dataset, load_extra_datasets#%matplotlib inline #如果你使用用的是Jupyter Notebook的话请取消注释。np.random.seed(1) #设置一个固定的随机种子&＃xff0c;以保证接下来的步骤中我们的结果是一致的。#训练集数据
X, Y &＃61; load_planar_dataset()
plt.scatter(X[0, :], X[1, :], c&＃61;np.squeeze(Y), s&＃61;40, cmap&＃61;plt.cm.Spectral) #绘制散点图
# print(X[0,:]) X的第一行
# print(X[1,:]) X的第二行
# print(X) X是2行800列的数组&＃xff0c;每一列中的第一行和第二行分别对应x和y&＃xff0c;800列即800个样本数据
# print(Y) Y是&＃xff08;1&＃xff0c;400&＃xff09;的行向量[[1,2,...,400]]
# print(np.squeeze(Y)) np.squeeze(Y)将消除维度1&＃xff0c;结果是[1,2,...,400]
plt.show()
shape_X &＃61; X.shape
shape_Y &＃61; Y.shape
m &＃61; Y.shape[1] # 训练集里面的数量
print ("X的维度为: " &＃43; str(shape_X))
print ("Y的维度为: " &＃43; str(shape_Y))
print ("数据集里面的数据有&＃xff1a;" &＃43; str(m) &＃43; " 个")def layer_sizes(X , Y):"""参数&＃xff1a;X - 输入数据集,维度为&＃xff08;输入的数量&＃xff0c;训练/测试的数量&＃xff09;Y - 标签&＃xff0c;维度为&＃xff08;输出的数量&＃xff0c;训练/测试数量&＃xff09;返回&＃xff1a;n_x - 输入层的数量n_h - 隐藏层的数量n_y - 输出层的数量"""n_x &＃61; X.shape[0] #输入层n_h &＃61; 4 #&＃xff0c;隐藏层&＃xff0c;硬编码为4n_y &＃61; Y.shape[0] #输出层return (n_x,n_h,n_y)def initialize_parameters( n_x , n_h ,n_y):"""参数&＃xff1a;n_x - 输入节点的数量n_h - 隐藏层节点的数量n_y - 输出层节点的数量返回&＃xff1a;parameters - 包含参数的字典&＃xff1a;W1 - 权重矩阵,维度为&＃xff08;n_h&＃xff0c;n_x&＃xff09;b1 - 偏向量&＃xff0c;维度为&＃xff08;n_h&＃xff0c;1&＃xff09;W2 - 权重矩阵&＃xff0c;维度为&＃xff08;n_y&＃xff0c;n_h&＃xff09;b2 - 偏向量&＃xff0c;维度为&＃xff08;n_y&＃xff0c;1&＃xff09;"""np.random.seed(2) #指定一个随机种子&＃xff0c;以便你的输出与我们的一样。W1 &＃61; np.random.randn(n_h,n_x) * 0.01b1 &＃61; np.zeros(shape&＃61;(n_h, 1))W2 &＃61; np.random.randn(n_y,n_h) * 0.01b2 &＃61; np.zeros(shape&＃61;(n_y, 1))#使用断言确保我的数据格式是正确的assert(W1.shape &＃61;&＃61; ( n_h , n_x ))assert(b1.shape &＃61;&＃61; ( n_h , 1 ))assert(W2.shape &＃61;&＃61; ( n_y , n_h ))assert(b2.shape &＃61;&＃61; ( n_y , 1 ))parameters &＃61; {"W1" : W1,"b1" : b1,"W2" : W2,"b2" : b2 }return parametersdef forward_propagation( X , parameters ):"""参数&＃xff1a;X - 维度为&＃xff08;n_x&＃xff0c;m&＃xff09;的输入数据。parameters - 初始化函数&＃xff08;initialize_parameters&＃xff09;的输出返回&＃xff1a;A2 - 使用sigmoid()函数计算的第二次激活后的数值cache - 包含“Z1”&＃xff0c;“A1”&＃xff0c;“Z2”和“A2”的字典类型变量"""W1 &＃61; parameters["W1"]b1 &＃61; parameters["b1"]W2 &＃61; parameters["W2"]b2 &＃61; parameters["b2"]#前向传播计算A2Z1 &＃61; np.dot(W1 , X) &＃43; b1A1 &＃61; np.tanh(Z1)Z2 &＃61; np.dot(W2 , A1) &＃43; b2A2 &＃61; sigmoid(Z2)#使用断言确保我的数据格式是正确的assert(A2.shape &＃61;&＃61; (1,X.shape[1]))cache &＃61; {"Z1": Z1,"A1": A1,"Z2": Z2,"A2": A2}return (A2, cache)def compute_cost(A2,Y,parameters):"""计算方程&＃xff08;6&＃xff09;中给出的交叉熵成本&＃xff0c;参数&＃xff1a;A2 - 使用sigmoid()函数计算的第二次激活后的数值Y - "True"标签向量,维度为&＃xff08;1&＃xff0c;数量&＃xff09;parameters - 一个包含W1&＃xff0c;B1&＃xff0c;W2和B2的字典类型的变量返回&＃xff1a;成本 - 交叉熵成本给出方程&＃xff08;13&＃xff09;"""m &＃61; Y.shape[1]# W1 &＃61; parameters["W1"]# W2 &＃61; parameters["W2"]#计算成本logprobs &＃61; np.multiply(np.log(A2), Y) &＃43; np.multiply((1 - Y), np.log(1 - A2))cost &＃61; - np.sum(logprobs) / mcost &＃61; float(np.squeeze(cost))assert(isinstance(cost,float))return costdef backward_propagation(parameters,cache,X,Y):"""使用上述说明搭建反向传播函数。参数&＃xff1a;parameters - 包含我们的参数的一个字典类型的变量。cache - 包含“Z1”&＃xff0c;“A1”&＃xff0c;“Z2”和“A2”的字典类型的变量。X - 输入数据&＃xff0c;维度为&＃xff08;2&＃xff0c;数量&＃xff09;Y - “True”标签&＃xff0c;维度为&＃xff08;1&＃xff0c;数量&＃xff09;返回&＃xff1a;grads - 包含W和b的导数一个字典类型的变量。"""m &＃61; X.shape[1]W1 &＃61; parameters["W1"]W2 &＃61; parameters["W2"]A1 &＃61; cache["A1"]A2 &＃61; cache["A2"]dZ2&＃61; A2 - YdW2 &＃61; (1 / m) * np.dot(dZ2, A1.T)db2 &＃61; (1 / m) * np.sum(dZ2, axis&＃61;1, keepdims&＃61;True)dZ1 &＃61; np.multiply(np.dot(W2.T, dZ2), 1 - np.power(A1, 2))dW1 &＃61; (1 / m) * np.dot(dZ1, X.T)db1 &＃61; (1 / m) * np.sum(dZ1, axis&＃61;1, keepdims&＃61;True)grads &＃61; {"dW1": dW1,"db1": db1,"dW2": dW2,"db2": db2 }return gradsdef update_parameters(parameters,grads,learning_rate&＃61;1.2):"""使用上面给出的梯度下降更新规则更新参数参数&＃xff1a;parameters - 包含参数的字典类型的变量。grads - 包含导数值的字典类型的变量。learning_rate - 学习速率返回&＃xff1a;parameters - 包含更新参数的字典类型的变量。"""W1,W2 &＃61; parameters["W1"],parameters["W2"]b1,b2 &＃61; parameters["b1"],parameters["b2"]dW1,dW2 &＃61; grads["dW1"],grads["dW2"]db1,db2 &＃61; grads["db1"],grads["db2"]W1 &＃61; W1 - learning_rate * dW1b1 &＃61; b1 - learning_rate * db1W2 &＃61; W2 - learning_rate * dW2b2 &＃61; b2 - learning_rate * db2parameters &＃61; {"W1": W1,"b1": b1,"W2": W2,"b2": b2}return parametersdef nn_model(X,Y,n_h,num_iterations,print_cost&＃61;False):"""参数&＃xff1a;X - 数据集,维度为&＃xff08;2&＃xff0c;示例数&＃xff09;Y - 标签&＃xff0c;维度为&＃xff08;1&＃xff0c;示例数&＃xff09;n_h - 隐藏层的数量num_iterations - 梯度下降循环中的迭代次数print_cost - 如果为True&＃xff0c;则每1000次迭代打印一次成本数值返回&＃xff1a;parameters - 模型学习的参数&＃xff0c;它们可以用来进行预测。"""np.random.seed(3) #指定随机种子n_x &＃61; layer_sizes(X, Y)[0]n_y &＃61; layer_sizes(X, Y)[2]parameters &＃61; initialize_parameters(n_x,n_h,n_y)W1 &＃61; parameters["W1"]b1 &＃61; parameters["b1"]W2 &＃61; parameters["W2"]b2 &＃61; parameters["b2"]for i in range(num_iterations):A2 , cache &＃61; forward_propagation(X,parameters)cost &＃61; compute_cost(A2,Y,parameters)grads &＃61; backward_propagation(parameters,cache,X,Y)parameters &＃61; update_parameters(parameters,grads,learning_rate &＃61; 0.5)if print_cost:if i%1000 &＃61;&＃61; 0:print("第 ",i," 次循环&＃xff0c;成本为&＃xff1a;"&＃43;str(cost))return parametersdef predict(parameters,X):"""使用学习的参数&＃xff0c;为X中的每个示例预测一个类参数&＃xff1a;parameters - 包含参数的字典类型的变量。X - 输入数据&＃xff08;n_x&＃xff0c;m&＃xff09;返回predictions - 我们模型预测的向量&＃xff08;红色&＃xff1a;0 /蓝色&＃xff1a;1&＃xff09;"""A2 , cache &＃61; forward_propagation(X,parameters)predictions &＃61; np.round(A2)return predictions#使用逻辑回归预测的准确率只有0.47&＃xff0c;因为数据集不是线性可分的&＃xff0c;不属于二分类的问题
# clf &＃61; sklearn.linear_model.LogisticRegressionCV()
# clf.fit(X.T,Y.T)
# plot_decision_boundary(lambda x: clf.predict(x), X, Y) #绘制决策边界
# plt.title("Logistic Regression") #图标题
# plt.show()
# LR_predictions &＃61; clf.predict(X.T) #预测结果
# print ("逻辑回归的准确性&＃xff1a; %d " % float((np.dot(Y, LR_predictions) &＃43;
# np.dot(1 - Y,1 - LR_predictions)) / float(Y.size) * 100) &＃43;
# "% " &＃43; "(正确标记的数据点所占的百分比)")parameters &＃61; nn_model(X, Y, n_h &＃61; 4, num_iterations&＃61;10000, print_cost&＃61;True)#绘制边界
plot_decision_boundary(lambda x: predict(parameters, x.T), X, Y)
plt.title("Decision Boundary for hidden layer size " &＃43; str(4))predictions &＃61; predict(parameters, X)
print (&＃39;准确率: %d&＃39; % float((np.dot(Y, predictions.T) &＃43; np.dot(1 - Y, 1 - predictions.T)) / float(Y.size) * 100) &＃43; &＃39;%&＃39;)plt.figure(figsize&＃61;(16, 32))
plt.show()
hidden_layer_sizes &＃61; [1, 2, 3, 4, 5, 20, 50] #隐藏层数量
for i, n_h in enumerate(hidden_layer_sizes):plt.subplot(5, 2, i &＃43; 1)plt.title(&＃39;Hidden Layer of size %d&＃39; % n_h)parameters &＃61; nn_model(X, Y, n_h, num_iterations&＃61;5000)plot_decision_boundary(lambda x: predict(parameters, x.T), X, Y)plt.figure(figsize&＃61;(16, 32))plt.show()predictions &＃61; predict(parameters, X)accuracy &＃61; float((np.dot(Y, predictions.T) &＃43; np.dot(1 - Y, 1 - predictions.T)) / float(Y.size) * 100)print ("隐藏层的节点数量&＃xff1a; {} &＃xff0c;准确率: {} %".format(n_h, accuracy))

神经网络和深度学习系列笔记&＃xff1a; 传送门