【人工智能作业】3例题程序复现PyTorch版

1.使用pytorch复现课上例题

代码如下

import torchx1, x2 &＃61; torch.Tensor([0.5]), torch.Tensor([0.3])
y1, y2 &＃61; torch.Tensor([0.23]), torch.Tensor([-0.07])
print("&＃61;&＃61;&＃61;&＃61;&＃61;输入值&＃xff1a;x1, x2&＃xff1b;真实输出值&＃xff1a;y1, y2&＃61;&＃61;&＃61;&＃61;&＃61;")
print(x1, x2, y1, y2)
w1, w2, w3, w4, w5, w6, w7, w8 &＃61; torch.Tensor([0.2]), torch.Tensor([-0.4]), torch.Tensor([0.5]), torch.Tensor([0.6]), torch.Tensor([0.1]), torch.Tensor([-0.5]), torch.Tensor([-0.3]), torch.Tensor([0.8]) # 权重初始值
w1.requires_grad &＃61; True
w2.requires_grad &＃61; True
w3.requires_grad &＃61; True
w4.requires_grad &＃61; True
w5.requires_grad &＃61; True
w6.requires_grad &＃61; True
w7.requires_grad &＃61; True
w8.requires_grad &＃61; Truedef sigmoid(z):a &＃61; 1 / (1 &＃43; torch.exp(-z))return adef forward_propagate(x1, x2):in_h1 &＃61; w1 * x1 &＃43; w3 * x2out_h1 &＃61; sigmoid(in_h1) # out_h1 &＃61; torch.sigmoid(in_h1)in_h2 &＃61; w2 * x1 &＃43; w4 * x2out_h2 &＃61; sigmoid(in_h2) # out_h2 &＃61; torch.sigmoid(in_h2)in_o1 &＃61; w5 * out_h1 &＃43; w7 * out_h2out_o1 &＃61; sigmoid(in_o1) # out_o1 &＃61; torch.sigmoid(in_o1)in_o2 &＃61; w6 * out_h1 &＃43; w8 * out_h2out_o2 &＃61; sigmoid(in_o2) # out_o2 &＃61; torch.sigmoid(in_o2)print("正向计算&＃xff1a;o1 ,o2")print(out_o1.data, out_o2.data)return out_o1, out_o2def loss_fuction(x1, x2, y1, y2): # 损失函数y1_pred, y2_pred &＃61; forward_propagate(x1, x2) # 前向传播loss &＃61; (1 / 2) * (y1_pred - y1) ** 2 &＃43; (1 / 2) * (y2_pred - y2) ** 2 # 考虑 &＃xff1a; t.nn.MSELoss()print("损失函数&＃xff08;均方误差&＃xff09;&＃xff1a;", loss.item())return lossdef update_w(w1, w2, w3, w4, w5, w6, w7, w8):# 步长step &＃61; 1w1.data &＃61; w1.data - step * w1.grad.dataw2.data &＃61; w2.data - step * w2.grad.dataw3.data &＃61; w3.data - step * w3.grad.dataw4.data &＃61; w4.data - step * w4.grad.dataw5.data &＃61; w5.data - step * w5.grad.dataw6.data &＃61; w6.data - step * w6.grad.dataw7.data &＃61; w7.data - step * w7.grad.dataw8.data &＃61; w8.data - step * w8.grad.dataw1.grad.data.zero_() # 注意&＃xff1a;将w中所有梯度清零w2.grad.data.zero_()w3.grad.data.zero_()w4.grad.data.zero_()w5.grad.data.zero_()w6.grad.data.zero_()w7.grad.data.zero_()w8.grad.data.zero_()return w1, w2, w3, w4, w5, w6, w7, w8if __name__ &＃61;&＃61; "__main__":print("&＃61;&＃61;&＃61;&＃61;&＃61;更新前的权值&＃61;&＃61;&＃61;&＃61;&＃61;")print(w1.data, w2.data, w3.data, w4.data, w5.data, w6.data, w7.data, w8.data)for i in range(1000):print("&＃61;&＃61;&＃61;&＃61;&＃61;第" &＃43; str(i) &＃43; "轮&＃61;&＃61;&＃61;&＃61;&＃61;")L &＃61; loss_fuction(x1, x2, y1, y2) # 前向传播&＃xff0c;求 Loss&＃xff0c;构建计算图L.backward() # 自动求梯度&＃xff0c;不需要人工编程实现。反向传播&＃xff0c;求出计算图中所有梯度存入w中print("\tgrad W: ", round(w1.grad.item(), 2), round(w2.grad.item(), 2), round(w3.grad.item(), 2),round(w4.grad.item(), 2), round(w5.grad.item(), 2), round(w6.grad.item(), 2), round(w7.grad.item(), 2),round(w8.grad.item(), 2))w1, w2, w3, w4, w5, w6, w7, w8 &＃61; update_w(w1, w2, w3, w4, w5, w6, w7, w8)print("更新后的权值")print(w1.data, w2.data, w3.data, w4.data, w5.data, w6.data, w7.data, w8.data)

训练前参数为&＃xff08;图片文字过小&＃xff0c;使用文本&＃xff09;

 &＃61;&＃61;&＃61;&＃61;&＃61;输入值&＃xff1a;x1, x2&＃xff1b;真实输出值&＃xff1a;y1, y2&＃61;&＃61;&＃61;&＃61;&＃61;
tensor([0.5000]) tensor([0.3000]) tensor([0.2300]) tensor([-0.0700])
&＃61;&＃61;&＃61;&＃61;&＃61;更新前的权值&＃61;&＃61;&＃61;&＃61;&＃61;
tensor([0.2000]) tensor([-0.4000]) tensor([0.5000]) tensor([0.6000]) tensor([0.1000]) tensor([-0.5000]) tensor([-0.3000]) tensor([0.8000])

 第一轮运行结果如下

作业二中的第一轮运行结果

第一千轮运行结果如下&＃xff08;图片文字过小&＃xff0c;使用文本&＃xff09; 

 &＃61;&＃61;&＃61;&＃61;&＃61;第999轮&＃61;&＃61;&＃61;&＃61;&＃61;
正向计算&＃xff1a;o1 ,o2
tensor([0.2296]) tensor([0.0098])
损失函数&＃xff08;均方误差&＃xff09;&＃xff1a; 0.0031851977109909058
    grad W:  -0.0 -0.0 -0.0 -0.0 -0.0 0.0 -0.0 0.0
更新后的权值
tensor([1.6515]) tensor([0.1770]) tensor([1.3709]) tensor([0.9462]) tensor([-0.7798]) tensor([-4.2741]) tensor([-1.0236]) tensor([-2.1999])

 作业二中第一千轮运行结果

2.对比【作业3】和【作业2】的程序&＃xff0c;观察两种方法结果是否相同&＃xff1f;如果不同&＃xff0c;哪个正确&＃xff1f;

结果不相同&＃xff0c;作业三正确。 

3.【作业2】程序更新&＃xff08;保留【作业2中】的错误答案&＃xff0c;留作对比。新程序到作业3&＃xff09;

 更新后的反向传播函数代码

def back_propagate(out_o1, out_o2, out_h1, out_h2):# 反向传播d_o1 &＃61; out_o1 - y1d_o2 &＃61; out_o2 - y2d_w5 &＃61; d_o1 * out_o1 * (1 - out_o1) * out_h1d_w7 &＃61; d_o1 * out_o1 * (1 - out_o1) * out_h2d_w6 &＃61; d_o2 * out_o2 * (1 - out_o2) * out_h1d_w8 &＃61; d_o2 * out_o2 * (1 - out_o2) * out_h2d_w1 &＃61; (d_o1 * out_h1 * (1 - out_h1) * w5 &＃43; d_o2 * out_o2 * (1 - out_o2) * w6) * out_h1 * (1 - out_h1) * x1d_w3 &＃61; (d_o1 * out_h1 * (1 - out_h1) * w5 &＃43; d_o2 * out_o2 * (1 - out_o2) * w6) * out_h1 * (1 - out_h1) * x2d_w2 &＃61; (d_o1 * out_h1 * (1 - out_h1) * w7 &＃43; d_o2 * out_o2 * (1 - out_o2) * w8) * out_h2 * (1 - out_h2) * x1d_w4 &＃61; (d_o1 * out_h1 * (1 - out_h1) * w7 &＃43; d_o2 * out_o2 * (1 - out_o2) * w8) * out_h2 * (1 - out_h2) * x2print("w的梯度:", round(d_w1, 2), round(d_w2, 2), round(d_w3, 2), round(d_w4, 2), round(d_w5, 2), round(d_w6, 2),round(d_w7, 2), round(d_w8, 2))return d_w1, d_w2, d_w3, d_w4, d_w5, d_w6, d_w7, d_w8

4. 对比【作业2】与【作业3】的反向传播的实现方法。总结并陈述

作业2中的方法通过手动计算&＃xff0c;得到反向传播过程中各参数梯度。作业3通过张量Tensor求Loss&＃xff0c;构建计算图&＃xff0c;在最后通过backword()自动求梯度。由于使用了Pytorch当中的Tensor张量&＃xff0c;使用前向传播建立计算图&＃xff0c;即可根据传播结果利用back_propagate自动计算梯度。激活函数使用Pytorch自带的torch.sigmoid()。

5.激活函数Sigmoid用PyTorch自带函数torch.sigmoid()&＃xff0c;观察、总结并陈述

二者使用同一个公式

10.权值w1-w8初始值换为随机数&＃xff0c;对比【作业2】指定权值结果&＃xff0c;观察、总结并陈述

 随机数代码如下

w1, w2, w3, w4, w5, w6, w7, w8 &＃61; torch.rand(1, 1), torch.rand(1, 1), torch.rand(1, 1), torch.rand(1, 1), torch.rand(1, 1), torch.rand(1, 1), torch.rand(1, 1), torch.rand(1, 1)

观测结果&＃xff0c;前后改变不大。