[动手学深度学习(PyTorch)]——自动求导

自动求导计算一个函数在指定值上的导数

1、计算图

显示构造&＃xff1a;TensorFlow、Theano、MXNet

隐式构造&＃xff1a;PyTorch

2、自动求导的两种模式

• 正向传播&＃xff1a;就是先从x出发&＃xff0c;u1关于x的导数求出来&＃xff0c;借助链式求导法则&＃xff0c;此时就可以求u2关于x的导数
• 反向传播&＃xff1a;就是先从y出发.

• x.requires_grad_(bool)&＃xff1a;是否需要定义空间保存梯度信息
• x.grad&＃xff1a;该属性用来获取空间中保存的梯度信息
• x.grad.zero_()&＃xff1a;清空之前存储的梯度信息
• backward()&＃xff1a;进行反向传播
• x.detach()&＃xff1a;detach后相当于把变量常数化&＃xff0c;用于需要固定参数时是很有用的

自己学习&＃xff0c;简单笔记&＃xff01;&＃xff01;&＃xff01;