全文共2543个字&＃xff0c;2张图&＃xff0c;预计阅读时间15分钟。

基于值的强化学习算法的基本思想是根据当前的状态&＃xff0c;计算采取每个动作的价值&＃xff0c;然后根据价值贪心的选择动作。如果我们省略中间的步骤&＃xff0c;即直接根据当前的状态来选择动作&＃xff0c;也就引出了强化学习中的另一种很重要的算法&＃xff0c;即策略梯度(Policy Gradient)。这篇文章&＃xff0c;我们就来介绍这种算法的最基础的版本以及其简单的实现。

本篇文章的大部分内容均学习自莫烦老师的强化学习课程&＃xff0c;大家可以在b站上找到相关的视频&＃xff1a;https://www.bilibili.com/video/av16921335/#page&＃61;22

什么是policy gradients

其实在引言部分我们已经介绍了策略梯度的基本思想&＃xff0c;就是直接根据状态输出动作或者动作的概率。那么怎么输出呢&＃xff0c;最简单的就是使用神经网络啦&＃xff01;

我们使用神经网络输入当前的状态&＃xff0c;网络就可以输出我们在这个状态下采取每个动作的概率&＃xff0c;那么网络应该如何训练来实现最终的收敛呢&＃xff1f;

我们之前在训练神经网络时&＃xff0c;使用最多的方法就是反向传播算法&＃xff0c;我们需要一个误差函数&＃xff0c;通过梯度下降来使我们的损失最小。但对于强化学习来说&＃xff0c;我们不知道动作的正确与否&＃xff0c;只能通过奖励值来判断这个动作的相对好坏。基于上面的想法&＃xff0c;我们有个非常简单的想法&＃xff1a;

如果一个动作得到的reward多&＃xff0c;那么我们就使其出现的概率增加&＃xff0c;如果一个动作得到的reward少&＃xff0c;我们就使其出现的概率减小。

根据这个思想&＃xff0c;我们构造如下的损失函数&＃xff1a;loss&＃61; -log(prob)*vt

我们简单用白话介绍一下上面这个损失函数的合理性&＃xff0c;那么至于从数学角度上为什么要使用上面的损失函数&＃xff0c;可以参考&＃xff1a;Why we consider log likelihood instead of Likelihood in Gaussian Distribution。

上式中log(prob)表示在状态 s 对所选动作 a 的吃惊度, 如果概率越小, 反向的log(prob) 反而越大. 而vt代表的是当前状态s下采取动作a所能得到的奖励&＃xff0c;这是当前的奖励和未来奖励的贴现值的求和。也就是说&＃xff0c;我们的策略梯度算法必须要完成一个完整的eposide才可以进行参数更新&＃xff0c;而不是像值方法那样&＃xff0c;每一个(s,a,r,s&＃39;)都可以进行参数更新。如果在prob很小的情况下, 得到了一个大的Reward, 也就是大的vt, 那么-log(prob)*vt就更大, 表示更吃惊, (我选了一个不常选的动作, 却发现原来它能得到了一个好的 reward, 那我就得对我这次的参数进行一个大幅修改)。

这就是 -log(prob)*vt的物理意义啦.Policy Gradient的核心思想是更新参数时有两个考虑&＃xff1a;如果这个回合选择某一动作&＃xff0c;下一回合选择该动作的概率大一些&＃xff0c;然后再看奖惩值&＃xff0c;如果奖惩是正的&＃xff0c;那么会放大这个动作的概率&＃xff0c;如果奖惩是负的&＃xff0c;就会减小该动作的概率。

策略梯度的过程如下图所示&＃xff1a;

我们在介绍代码实战之前&＃xff0c;最后在强调Policy Gradient的一些细节&＃xff1a;

1. 算法输出的是动作的概率&＃xff0c;而不是Q值。

2. 损失函数的形式为&＃xff1a;loss&＃61; -log(prob)*vt

3. 需要一次完整的episode才可以进行参数的更新

policy gradients 算法实现

我们通过Policy Gradient算法来实现让钟摆倒立的过程。

本文的代码地址在&＃xff1a;https://github.com/princewen/tensorflow_practice/tree/master/Basic-Policy-Network

本文的代码思路完全按照policy gradient的过程展开。

定义参数
首先&＃xff0c;我们定义了一些模型的参数&＃xff1a;

self.ep_obs,self.ep_as,self.ep_rs分别存储了当前episode的状态&＃xff0c;动作和奖励。

self.n_actions &＃61; n_actions
self.n_features &＃61; n_features
self.lr &＃61; learning_rate
self.gamma &＃61; reward_decayself.ep_obs,self.ep_as,self.ep_rs &＃61; [],[],[]

定义模型输入
模型的输入包括三部分&＃xff0c;分别是观察值&＃xff0c;动作和奖励值。

with tf.name_scope(&＃39;inputs&＃39;):
self.tf_obs &＃61; tf.placeholder(tf.float32,[None,self.n_features],name&＃61;&＃39;observation&＃39;)
self.tf_acts &＃61; tf.placeholder(tf.int32,[None,],name&＃61;&＃39;actions_num&＃39;)
self.tf_vt &＃61; tf.placeholder(tf.float32,[None,],name&＃61;&＃39;actions_value&＃39;)

构建模型
我们的模型定义了两层的神经网络&＃xff0c;网络的输入是每次的观测值&＃xff0c;而输出是该状态下采取每个动作的概率&＃xff0c;这些概率在最后会经过一个softmax处理

layer &＃61; tf.layers.dense(
inputs &＃61; self.tf_obs,
units &＃61; 10,
activation&＃61; tf.nn.tanh,
kernel_initializer&＃61;tf.random_normal_initializer(mean&＃61;0,stddev&＃61;0.3),
bias_initializer&＃61; tf.constant_initializer(0.1),
name&＃61;&＃39;fc1&＃39;)all_act &＃61; tf.layers.dense(
inputs &＃61; layer,
units &＃61; self.n_actions,
activation &＃61; None,
kernel_initializer&＃61;tf.random_normal_initializer(mean&＃61;0,stddev&＃61;0.3),
bias_initializer &＃61; tf.constant_initializer(0.1),
name&＃61;&＃39;fc2&＃39;)self.all_act_prob &＃61; tf.nn.softmax(all_act,name&＃61;&＃39;act_prob&＃39;)

模型的损失
我们之前介绍过了&＃xff0c;模型的损失函数计算公式为&＃xff1a;loss&＃61; -log(prob)*vt&＃xff0c;我们可以直接使用tf.nn.sparse_softmax_cross_entropy_with_logits 来计算前面一部分&＃xff0c;即-log(prob)&＃xff0c;不过为了更清楚的显示我们的计算过程&＃xff0c;我们使用了如下的方式&＃xff1a;

with tf.name_scope(&＃39;loss&＃39;):
#neg_log_prob &＃61; tf.nn.sparse_softmax_cross_entropy_with_logits(logits&＃61;self.all_act_prob,labels &＃61;self.tf_acts)neg_log_prob &＃61; tf.reduce_sum(-tf.log(self.all_act_prob) * tf.one_hot(indices&＃61;self.tf_acts,depth&＃61;self.n_actions),axis&＃61;1)
loss &＃61; tf.reduce_mean(neg_log_prob * self.tf_vt)

而我们选择AdamOptimizer优化器进行参数的更新&＃xff1a;

with tf.name_scope(&＃39;train&＃39;):
self.train_op &＃61; tf.train.AdamOptimizer(self.lr).minimize(loss)

动作选择
我们这里动作的选择不再根据贪心的策略来选择了&＃xff0c;而是根据输出动作概率的softmax值&＃xff1a;

def choose_action(self,observation):
prob_weights &＃61; self.sess.run(self.all_act_prob,feed_dict&＃61;{self.tf_obs:observat
ion[np.newaxis,:]})
action &＃61; np.random.choice(range(prob_weights.shape[1]),p&＃61;prob_weights.ravel())
return action

存储经验
之前说过&＃xff0c;policy gradient是在一个完整的episode结束后才开始训练的&＃xff0c;因此&＃xff0c;在一个episode结束前&＃xff0c;我们要存储这个episode所有的经验&＃xff0c;即状态&＃xff0c;动作和奖励。

def store_transition(self,s,a,r):
self.ep_obs.append(s)
self.ep_as.append(a)
self.ep_rs.append(r)

计算奖励的贴现值
我们之前存储的奖励是当前状态s采取动作a获得的即时奖励&＃xff0c;而当前状态s采取动作a所获得的真实奖励应该是即时奖励加上未来直到episode结束的奖励贴现和。

def _discount_and_norm_rewards(self):
discounted_ep_rs &＃61; np.zeros_like(self.ep_rs)
running_add &＃61; 0
# reserved 返回的是列表的反序&＃xff0c;这样就得到了贴现求和值。
for t in reversed(range(0,len(self.ep_rs))):running_add &＃61; running_add * self.gamma &＃43; self.ep_rs[t]discounted_ep_rs[t] &＃61; running_adddiscounted_ep_rs -&＃61; np.mean(discounted_ep_rs)
discounted_ep_rs /&＃61; np.std(discounted_ep_rs)
return discounted_ep_rs

模型训练
在定义好上面所有的部件之后&＃xff0c;我们就可以编写模型训练函数了&＃xff0c;这里需要注意的是&＃xff0c;我们喂给模型的并不是我们存储的奖励值&＃xff0c;而是在经过上一步计算的奖励贴现和。另外&＃xff0c;我们需要在每一次训练之后清空我们的经验池。

def learn(self):
discounted_ep_rs_norm &＃61; self._discount_and_norm_rewards()
self.sess.run(self.train_op,feed_dict&＃61;{    
self.tf_obs:np.vstack(self.ep_obs),  
self.tf_acts:np.array(self.ep_as),    
self.tf_vt:discounted_ep_rs_norm,
})
self.ep_obs,self.ep_as,self.ep_rs &＃61; [],[],[]
return discounted_ep_rs_norm

好了&＃xff0c;模型相关的代码我们就介绍完了&＃xff0c;如何调用这个模型的代码相信大家一看便明白&＃xff0c;我们就不再介绍啦。

有关强化学习中policy gradient的更多的改进我也会进一步学习和总结&＃xff0c;希望大家持续关注&＃xff01;

参考资料

1 https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/4-4-gym/

2 https://papers.nips.cc/paper/1713-policy-gradient-methods-for-reinforcement-learning-with-function-approximation.pdf

3 https://zhuanlan.zhihu.com/p/21725498

原文链接&＃xff1a;https://mp.weixin.qq.com/s?__biz&＃61;MzI1MzY0MzE4Mg&＃61;&＃61;&mid&＃61;2247483860&idx&＃61;1&sn&＃61;77cfb5401c70b830e01c0c60d0a70c91&chksm&＃61;e9d01115dea79803b130588ebfb06a7fc6e43b07d2e67150b3be0d9b89559f12df3aba79b1d5&scene&＃61;21#wechat_redirect

查阅更为简洁方便的分类文章以及最新的课程、产品信息&＃xff0c;请移步至全新呈现的“LeadAI学院官网”&＃xff1a;

www.leadai.org

请关注人工智能LeadAI公众号&＃xff0c;查看更多专业文章

大家都在看

LSTM模型在问答系统中的应用

基于TensorFlow的神经网络解决用户流失概览问题

最全常见算法工程师面试题目整理&＃xff08;一&＃xff09;

最全常见算法工程师面试题目整理&＃xff08;二&＃xff09;

TensorFlow从1到2 | 第三章 深度学习革命的开端&＃xff1a;卷积神经网络

装饰器 | Python高级编程

今天不如来复习下Python基础