最速下降法极小化rosenbrock函数代码_RLAnIntroductionChapter9函数拟合时的同步预测...

本章起我们开始讨论用函数来拟合估计值函数&＃xff0c;我们用参数

来将值函数参数化&＃xff0c;记作

。这类方法泛化性强&＃xff0c;非常强大且易于理解。同时&＃xff0c;这种方法也适用于部分可见的问题。

1.值函数逼近

本书中所有值函数的更新都是通过目标&＃xff08;target&＃xff09;来进行的&＃xff0c;当我们使用函数逼近时&＃xff0c;直接将目标公式中的值函数替换为拟合的函数即可。机器学习中的监督学习算法都可以用于函数拟合&＃xff0c;它的本质就是利用已有信息来预测未知的值函数。但是不是所有的还函数逼近方法都等价适用于强化学习。比如&＃xff0c;复杂的神经网络和统计学方法是静态的训练集合&＃xff0c;但是在强化学习中则要求在线的学习。此外&＃xff0c;强化学习还要求能解决非静态的问题。

2. 预测目标

首先我们定义一个状态分布

&＃xff0c;这代表我们对不同状态产生误差的关注程度。通过

来对整个状态空间加权&＃xff0c;我们就可以得到一个自然的目标方程&＃xff0c;我们称为均方值误差&＃xff08;mean squared value error&＃xff09;&＃xff1a;

虽然

不一定是最好的目标函数&＃xff0c;但是它可以在某种程度上解决问题。一个理想的目标是找到全局最优点&＃xff08;global optimum&＃xff09;&＃xff0c;即

。对于线性拟合来说这个目标是比较好达到的&＃xff0c;而对于复杂一些的拟合函数来说&＃xff0c;函数可能收敛到局部最优点。

3. 随机梯度和半随机梯度

现在我们假设每一步我们观察到的状态值都是真实值&＃xff0c;但是我们还是无法保证能准确拟合所有状态。假设我们采样到的状态都来自同一个状态分布&＃xff0c;为了最小化

&＃xff0c;一个好的策略是利用随机梯度下降SGD算法&＃xff1a;

SGD能确保收敛到一个局部最优点。现在我们假设目标输出为

&＃xff0c;它不是真实的值函数&＃xff0c;但是逼近于真实值&＃xff0c;则权重的更新公式为&＃xff1a;

以MC算法为例&＃xff0c;其梯度下降法的伪代码为&＃xff1a;

但是对于像DP这样的自展公式来说&＃xff0c;目标内也包含了拟合参数&＃xff0c;这样就无法进行有效地梯度下降。因此&＃xff0c;自展方法实际上不能进行真正的梯度下降&＃xff0c;在这些方法里&＃xff0c;只考虑了改变参数在估计值上的影响&＃xff0c;而忽视了它在目标上的影响。我们称这样的方法为半梯度方法&＃xff08;semi-gradient&＃xff09;。

半梯度方法虽然不如梯度法稳定&＃xff0c;但是它学习的速度快&＃xff0c;且可以处理连续和在线问题。

状态聚集&＃xff08;state aggregation&＃xff09;是一种泛化函数拟合的形式&＃xff0c;它将状态分组处理&＃xff0c;对每个组使用相同的值。它是SGD的一种特殊形式。

4. 线性方法

对应每个状态&＃xff0c;都有个特征向量x&＃xff1a;

则用线性方法来拟合值函数就是将w和x作内积&＃xff1a;

对线性方法来说&＃xff0c;特征是基函数&＃xff0c;因为它们形成了一组线性基。

当使用SGD时&＃xff0c;值函数的梯度和更新公式为&＃xff1a;

基本上对所有的线性方法都具有良好的收敛性&＃xff0c;并且只有一个最优解。

对于TD(0)来说&＃xff0c;它使用的是半梯度法&＃xff0c;与SGD不同&＃xff0c;其更新公式为&＃xff1a;

当系统达到稳定时&＃xff0c;有

因此如果系统收敛&＃xff0c;我们可以得到&＃xff1a;

这个式子被称为TD定点&＃xff08;fixed point&＃xff09;。实际上所有线性半梯度TD(0)都会收敛到这个点。书上给出了详细证明。

在TD定点&＃xff0c;误差由最小可能误差决定上界&＃xff1a;

在实际中

可能趋向于1&＃xff0c;所以误差可能会很大。一个重要的一点是这些收敛性都是建立在同步分布的基础上的&＃xff0c;对异步分布&＃xff0c;误差可能无法收敛。

半梯度n步TD算法如下图所示&＃xff1a;

算法中的关键公式即为&＃xff1a;

与第七章的类似。

5. 线性方法的特征建立

本节主要介绍了几种常用的线性特征建立方式&＃xff0c;此处不展开讲解&＃xff0c;主要包括了多项式法&＃xff08;polynomials&＃xff09;、傅里叶基&＃xff08;Fourier basis&＃xff09;、科斯编码&＃xff08;coarse coding&＃xff09;、瓦片编码&＃xff08;tile coding&＃xff09;和径向基函数&＃xff08;RBF&＃xff09;几种方法&＃xff0c;各有优劣。

6. 人为选择步长

大部分SGD算法需要人为设计步长&＃xff0c;但是理论知识又无法提供帮助。书中建议了一个经验公式&＃xff0c;设使用了

个经验来进行学习&＃xff0c;那么步长公式为&＃xff1a;

7. 非线性拟合&＃xff1a;ANN

本节主要介绍了神经网络的基本概念与在RL中的应用&＃xff0c;并举了一些例子&＃xff0c;如DQN中的用CNN来提取游戏画面的特征等等。

8. 最小二乘TD

之前介绍的方式都是每一步计算一次&＃xff0c;但当我们有更多的计算资源时&＃xff0c;我们可以做的更好。回忆一下我们在第四节介绍的TD定点&＃xff1a;

实际上我们不需要一步一步计算A和b&＃xff0c;可以用TD最小二乘算法直接求解&＃xff08;LSTD&＃xff09;&＃xff1a;

这样计算的数据利用率更高&＃xff0c;但是也更加消耗计算资源&＃xff0c;其计算复杂度为

。

但是求逆过程可以有更简单的表现形式&＃xff0c;使其复杂度减少为

:

9. 基于记忆的函数逼近

前面提到的方法都是更新参数来减小误差的&＃xff0c;在更新后训练样本都会被丢弃。基于记忆的函数法很不同&＃xff0c;它将训练集的数据都储存起来&＃xff0c;当某一状态被查询时会取出相关的样本进行训练&＃xff0c;这也被称为懒惰学习&＃xff08;lazy learning&＃xff09;&＃xff0c;因为训练的过程时被延迟的&＃xff0c;当系统查询并给出结果后才进行。

基于记忆的学习是无参数方法&＃xff0c;它不受限于一类固定的拟合函数&＃xff0c;而是由训练样本决定&＃xff0c;当训练数据足够多时&＃xff0c;就能保证拟合函数更好的准确性。基于记忆的方法根据储存与查询方式的不同而不同。在此我们关注于本地学习方法&＃xff08;local-learning&＃xff09;&＃xff0c;它根据查询值的临近值来拟合函数。类似于传统机器学习中的KNN算法。在查询后&＃xff0c;本地估计值被丢弃。

基于记忆的方法有很多有点&＃xff0c;它不受参数化模型的限制&＃xff0c;同时学习速度很快&＃xff0c;还可以解决维度诅咒的问题。但是对于大型数据集&＃xff0c;查询会比较耗费时间。

10. 基于核的函数逼近

这一节主要是利用核函数来进行函数拟合&＃xff0c;与SVM的原理一样。核函数在数值上表达了不同状态的相关性。核回归是一种基于记忆的方法&＃xff0c;通过计算核加权平均来得到结果&＃xff0c;它拟合了目标函数&＃xff08;target function&＃xff09;&＃xff1a;

11. 兴趣和重要性&＃xff08;interest and emphasis&＃xff09;

在有些情况下我们只关注部分状态&＃xff0c;函数拟合的资源是有限的&＃xff0c;如果能更有目标性地计算&＃xff0c;那么训练效果会更好。现在我们假设根据一个MDP有多个同步的状态分布&＃xff0c;所有的分布都公式跟随着目标策略产生的周期而产生&＃xff0c;但是会因为周期的初始化状态不同而不同。

现在我们介绍一些新的概念。首先我们介绍一个非负标量&＃xff0c;随机变量

&＃xff0c;称为兴趣&＃xff08;interest&＃xff09;&＃xff0c;表示了在时间t我们对状态的感兴趣程度&＃xff0c;那么状态分布就被定义为在目标策略下由兴趣加权后的状态分布。第二个概念是非负标量随机变量重要性

。这个标量与学习量相乘&＃xff0c;用来强调时间t学习的重要性。

其中重要性计算为&＃xff1a;

12. 小结

本节我们学习了利用值函数拟合来进行同步预测。传统的方法还是基于线性拟合的梯度下降与半梯度下降法&＃xff0c;其是利用参数化拟合来最小化均方值误差来实现的。此外&＃xff0c;我们还介绍了非线性与非参数拟合的方式&＃xff0c;如现在很热门的深度强化学习。