Rainbow: Combining Improvements in Deep Reinforcement Learning

深度强化学习社区对DQN算法进行了一些独立的改进。然而，目前还不清楚这些扩展中哪些是互补的，可以有效地结合在一起**。本文研究了DQN算法的六种扩展，并对它们的组合进行了实证研究。实验表明，该组合在Atari 2600基准上提供了最先进的性能，无论是在数据效率还是最终性能方面。还** 提供了详细的消融研究的结果，显示了每个组件对整体性能的贡献

背景 ：

1）这些算法中的每一种都能单独实现显著的性能改进。由于它们建立在一个共享的框架上，它们可能会被结合起来。

2）本文建议研究一种结合上述所有成分的agent 。本文展示了这些不同的想法如何被整合，它们确实在很大程度上是互补的。事实上，它们的组合在来自街机学习环境的57款Atari 2600游戏基准套件上产生了最新的结果，无论是数据效率还是最终性能。展示了消融研究的结果，以帮助理解不同成分的贡献。

简单的描述DQN

DQN算法是一个重要的里程碑，但目前已经发现了该算法的一些局限性，并提出了许多扩展算法。本文提出六个扩展，每个扩展都解决了一个限制并提高了整体性能。 为了保持选择的大小可管理，我们选择了一组解决不同问题的扩展(例如，只是众多寻址探索中的一个)。

1.Double Q-learning. 双Q学习解决这种高估问题。

2 Prioritized replay 我们想要更频繁地对这些过渡进行采样，从中我们可以学到很多东西。 作为学习潜力的代表，优先经验回放(Schaul et al. 2015)以相对于最后遇到的绝对TD错误的概率pt对转换进行采样:

3. Dueling networks. 决斗网络是一种为基于值的RL设计的神经网络架构。它具有两个计算流，价值流和优势流，共享一个卷积编码器，并由一个特殊的聚合器合并

4. Multi-step learning Q-learning累积单个奖励，然后使用下一步的贪婪动作进行自助引导。或者，可以使用前视多步目标

5 Distributional RL. 我们可以学习近似收益的分布而不是期望收益。

6. Noisy Nets 噪声网络(Fortunato et al. 2017)提出了一种结合确定性流和噪声流的噪声线性层，

The Integrated Agent

本文将上述所有组件集成为一个完整的智能体Rainbow。

网络结构分布

Experimental Methods

阅读者总结：这篇论文将和DQN相关的网络结构结合起来，应该说是一个统一体。该论文最应该关注文中实验结果和代码实现部分。