Pytorch深度学习(二)手动实现线性回归

上一讲中我们介绍了梯度下降&＃xff0c;下面我们用PyTorch中的Autograd自动求导实现线性回归。

归纳而言,这篇会相对简单,主要包含以下几点:

• PyTorch Autograd 概念介绍
• 利用 Autograd 替代手动求解导数
• 实现 Autograd 方式的线性回归模型

一、PyTorch Autograd 概念介绍 

具体查看官网&＃xff1a;https://pytorch.org/tutorials/beginner/blitz/autograd_tutorial.html

原理虽然简单,但其中有不少细节需要注意:

首先需要这个函数链是可导的
1.一个 backward 对应一个 grad计算值,所以重复 backward 以及中间环节执行 backward 都会导致 grad 值变化
2.一个 grad 使用完之后,需要记得 设置为 0 ,再次 backward 才能得到正确的值

二、重点代码介绍

1.利用 Autograd 替代手动求解导数

# 设置 requires_grad&＃61;True ,告诉PyTorch需要记录params上所有的操作
params &＃61; torch.tensor([1.0, 0.0], requires_grad&＃61;True)# 目前为止 params.grad is None# 执行 backward 后, params.grad 就保存了微分值
loss &＃61; loss_fn(model(t_u, *params), t_c)
loss.backward()# grad 使用完之后,需要记得 设置为 0
if params.grad is not None:params.grad.zero_()


2.实现 Autograd 方式的线性回归模型

def training_loop(n_epochs, learning_rate, params, t_u, t_c):for epoch in range(1, n_epochs &＃43; 1):if params.grad is not None:params.grad.zero_()t_p &＃61; model(t_u, *params)loss &＃61; loss_fn(t_p, t_c)loss.backward()params &＃61; (params - learning_rate * params.grad).detach().requires_grad_()# print(&＃39;Epoch %d, Loss %f&＃39; % (epoch, float(loss)))# print(&＃39;Params&＃39;, params)if epoch % 500 &＃61;&＃61; 0:print(&＃39;Epoch %d, Loss %f&＃39; % (epoch, float(loss)))return params


需要着重解释的是 detach().requires_grad_()
这里的作用就是使 params 脱离之前的函数链,PyTorch重新记录新的函数链

三、完整代码

"""
PyTorch 基础入门二: PyTorch 自动求导线性模型实现
线性回归参数估计
问题: 华氏温度转换
"""
import torch# 定义输入数据
t_c &＃61; [0.5, 14.0, 15.0, 28.0, 11.0, 8.0, 3.0, -4.0, 6.0, 13.0, 21.0]
t_u &＃61; [35.7, 55.9, 58.2, 81.9, 56.3, 48.9, 33.9, 21.8, 48.4, 60.4, 68.4]t_c &＃61; torch.tensor(t_c)
t_u &＃61; torch.tensor(t_u)# 对应的线性模型为
# t_c &＃61; w * t_u &＃43; bdef model(t_u, w, b):return w*t_u &＃43; b# 定义损失函数
# t_p 为模型估计值
# t_c 为实验数据
def loss_fn(t_p, t_c):squared_diffs &＃61; (t_p - t_c)**2return squared_diffs.mean()
# 以上跟第一篇保持一致
########################################################################## 设置 requires_grad&＃61;True ,告诉PyTorch需要记录params上所有的操作
params &＃61; torch.tensor([1.0, 0.0], requires_grad&＃61;True)# 目前为止 params.grad is None# 执行 backward 后, params.grad 就保存了微分值
# loss &＃61; loss_fn(model(t_u, *params), t_c)
# loss.backward()if params.grad is not None:params.grad.zero_()def training_loop(n_epochs, learning_rate, params, t_u, t_c):for epoch in range(1, n_epochs &＃43; 1):if params.grad is not None:params.grad.zero_()t_p &＃61; model(t_u, *params)loss &＃61; loss_fn(t_p, t_c)loss.backward()# params &＃61; (params - learning_rate * params.grad).detach().requires_grad_()# print(&＃39;Epoch %d, Loss %f&＃39; % (epoch, float(loss)))# print(&＃39;Params&＃39;, params)if epoch % 500 &＃61;&＃61; 0:print(&＃39;Epoch %d, Loss %f&＃39; % (epoch, float(loss)))return params# 特征缩放处理
t_un &＃61; 0.1 * t_u
params &＃61; training_loop(n_epochs &＃61; 5000,learning_rate &＃61; 1e-2,params &＃61; torch.tensor([1.0, 0.0], requires_grad&＃61;True),t_u &＃61; t_un,t_c &＃61; t_c)# 画出图示
import matplotlib.pyplot as plt
t_p &＃61; model(t_un, *params)fig &＃61; plt.figure()
plt.title(u"PyTorch linear model")
plt.xlabel("Fahrenheit")
plt.ylabel("Celsius")
plt.plot(t_u.numpy(), t_p.detach().numpy())
plt.plot(t_u.numpy(), t_c.numpy(), &＃39;o&＃39;)
plt.show()

四、结果展示