强化学习之DuelingDQN

注&＃xff1a;本文续于《强化学习之DDQN》

Dueling DQN的思想是把神经网络中Q价值的输出分成两部分&＃xff0c;第一部分是状态价值V&＃xff0c;这部分价值由状态直接决定和Action无关。第二部分就是动作价值和状态价值的差值A&＃xff0c;每一个Action都存在一个差值。这两部分构成了倒数第二层的神经网络&＃xff0c;节点数为Action数&＃43;1。然后最后一层的Q值就可以直接由V和A相加构成。

$$Q\&＃61;V\&＃43;A$$
Dueling DQN和DDQN唯一不同的地方是网络结构&＃xff0c;因此修改程序时只需要修改Network类即可。这种计算结构使得学习性能得到提高。优点在于与DQN相比&＃xff0c;无论动作a如何&＃xff0c;都可以逐步学习与V(s)相关的网络连接参数&＃xff0c;因此学习的轮数比DQN更少&＃xff0c;随着动作选择的增加&＃xff0c;优势更加明显。

class Network(torch.nn.Module): def __init__(self,n_in,n_mid,n_out): super(Network,self).__init__() self.fc1 &＃61; torch.nn.Linear(n_in,n_mid)self.fc2 &＃61; torch.nn.Linear(n_mid,n_mid) self.fc3_adv &＃61; torch.nn.Linear(n_mid,n_out) self.fc3_v &＃61; torch.nn.Linear(n_mid,1) def forward(self,x): h1 &＃61; F.relu(self.fc1(x))h2 &＃61; F.relu(self.fc2(h1))adv &＃61; self.fc3_adv(h2)# expand函数作用是采用复制的方式扩展一个维度的长度&＃xff0c;-1指不改变长度&＃xff0c;这里把V复制成和A数量一样多val &＃61; self.fc3_v(h2).expand(-1,adv.size(1))# V &＃43; A ,然后都减去A的平均值output &＃61; val &＃43; adv - adv.mean(1,keepdim &＃61; True).expand(-1.adv.size(1))return output


在实际操作中&＃xff0c;我们通常需要减去一个平均值&＃xff1a;

采用这种方法&＃xff0c;虽然使得值函数V和优势函数A不再完美的表示值函数和优势函数(在语义上的表示)&＃xff0c;但是这种操作提高了稳定性。而且&＃xff0c;并没有改变值函数V和优势函数A的本质表示。如果只是简单相加&＃xff0c;由于动作类型的不同&＃xff0c;具有不同的偏置量&＃xff0c;可能无法得到很好的学习&＃xff0c;通过在一个节点内的输出加入另一个节点的信息&＃xff0c;可以让神经网络在误差传递的过程中得到更加充分的学习。