Bdq的IT技术博客

在前面的文章强化学习DQN算法中，介绍了经典的DQN算法，然而DQN也存在一些问题。Nature DQN与Double DQN的提出就是为了解决这些问题，下面笔者将介绍这个两种改进的算法。

Nature DQN算法

Nature DQN的提出是为了提升原版DQN的收敛速度。在原版DQN中，计算目标Q值的公式

如下：

$y_j=\begin{cases}r_j &\text{for terminal }\phi_{j+1} \\r_j+\gamma\max_{a'}Q(\phi_{j+1},a';\theta) &\text{for non-terminal }\phi_{j+1}\end{cases}$

由于在计算目标$Q$值$y_j$时，使用的是当前要训练的$Q$网络，而$Q$网络的更新使用的又是目标$Q$值$y_j$，两者的相关性太强了，不利于收敛。

为了解决这个问题，Nature DQN提出了一个改进，使用两个$Q$网络来计算目标$Q$值。这两个网络的结构一样，但是参数不一样。其中一个网络被称为当前$Q$网络，主要用来选择动作，并更新模型参数。另一个网络被称为目标$\hat{Q}$网络，仅仅用来计算目标$Q$值，它的参数$\theta^-$是直接从当前$Q$网络复制而来，且目标$\hat{Q}$网络的参数会比当前$Q$网络延迟。因此，新的计算目标$Q$值的公式如下：

$y_j=\begin{cases}r_j &\text{for terminal }\phi_{j+1} \\r_j+\gamma\max_{a'}\hat{Q}(\phi_{j+1},a';\theta^-) &\text{for non-terminal }\phi_{j+1}\end{cases}$

除了目标$Q$值的计算不一样之外，其他的流程和原版DQN没什么区别。

Nature DQN算法流程

1. 初始化一个存储容量为$N$的记忆池$D$，同时随机初始化一个当前$Q$网络，参数为$\theta$，一个目标$Q$网络，参数为$\theta^-$，并令$\theta^-=\theta$。

2. 按以下流程迭代$M$轮。

   1. 初始化状态$s1$为第一个状态$x1$，并进行处理得到特征向量$\phi(s1)$。

   2. 按以下流程迭代$T$轮。

      1. 通过$\epsilon$-greedy算法根据状态$s_t$从动作空间中得到动作$a_t$，通过$Q$网络选择动作的公式如下。

         $a_t=\arg\max_aQ(\phi(s_t),a;\theta)$

      2. 执行动作$a_t$并观测环境，得到奖励$t_t$以及图片$x_{t+1}$。

      3. 设置$s_{t+1}=s_t,a_t,x_{t+1}$并对$s_{t+1}$提取特征得到$\phi(s_{t+1})$。

      4. 将状态$s_{t+1}$存储到记忆池$D$中。

      5. 随机从记忆池$D$中选择一组$minibatch$的记忆$(\phi_j,a_j,r_j,\phi_{j+1})$，并根据以下公式计算收获：

         $y_j={\begin{cases}r_j &\text{for terminal }\phi_{j+1} \\r_j+\gamma\max_{a'}\hat{Q}(\phi_{j+1,a';\theta^-}) &\text{for non-terminal }\phi_{j+1}\end{cases}}$

      6. 通过$(y_j-Q(\phi_j,a_j;\theta))^2$来计算损失，并通过梯度更新$Q$网络的参数。

      7. 每隔$C$个迭代，更新$\hat{Q}=Q$。

Double DQN算法

Double DQN算法的提出是为了解决Q-learning，DQN包括Nature DQN的一个通病，即过拟合。过拟合发生的原因，是因为在更新$Q$值时，使用的是$greedy$算法。以Nature DQN为例，目标$Q$值的计算公式如下：

$y_j={\begin{cases}r_j &\text{for terminal }\phi_{j+1} \\r_j+\gamma\max_{a'}\hat{Q}(\phi_{j+1,a';\theta^-}) &\text{for non-terminal }\phi_{j+1}\end{cases}}$

由于每次估计下一个状态$s'$的$Q$值时都选择最大的$Q_{max}$，因此会导致高估的情况，$Q_{max}$不一定是最接近真实的值，对应的动作$a'$不一定是最佳的动作。如此，就会在每一次迭代中产生一些误差，这些误差不断累积，最终产生了过拟合。

为了解决这个问题，Double DQN提出两个$Q$网络解耦目标$Q$值动作的选择和目标$Q$值的计算这两步，并修改了$Q$值的计算方式。

Double DQN的两个$Q$网络和Nature DQN的一致，目标$Q$值的计算方式如下：

$y_j={\begin{cases}r_j &\text{for terminal }\phi_{j+1} \\r_j+\gamma\hat{Q}(\phi_{j+1,\arg\max_aQ(\phi_{j+1},a;\theta);\theta^-}) &\text{for non-terminal }\phi_{j+1}\end{cases}}$

对于非终结状态的$\phi_{j+1}$，$Q$值的计算可以分为一下两个步骤：

1. 通过当前$Q$网络估计在状态$\phi_{j+1}$下的最大的$Q'$值对应的动作$a_{j+1}$，用公式表示如下。

   $a_j=\arg\max_aQ(\phi_{j+1},a;\theta)$

2. 带入以下公式计算$y_j$。

   $y_j=r_j+\gamma\hat{Q}(\phi_{j+1},a_j,\theta^-)$

由于动作$a_j$是由当前$Q$网络估计出的，在一定程度上，更接近最佳的动作，因此对应的$Q$值也会更接近真实值，从而避免了过高的估计。Double DQN的其他流程和Nature DQN没有什么太大的区别，就不过多介绍了。