Advertisement

Hierarchical deep reinforcement learning (H-DQN)

阅读量：
论文简述

传统的DQN算法在面对环境反馈稀疏和反馈延迟的问题时表现出明显的效率低下。例如，在Montezuma's Revenge这一经典游戏中,DQN无论如何都无法通过简单的图像信息实现任务完成。其根本原因在于这类游戏需要依赖先验知识来完成任务,而这种先验知识往往超出了基于图像信息的计算机视觉系统的识别能力。

在这里插描述

为此，在本文中提出了一种分层结构的算法模型。其中顶层部分主要负责制定战略目标并指导次阶段目标的规划；底层则负责执行具体的操作步骤。这一组织架构完全符合人类处理复杂问题的认知模式，在面对高难度的任务时人们通常会将其分解为若干可管理的部分并通过逐步解决来实现整体目标。基于这种算法框架本研究成功提取了Montezuma’s Revenge游戏中的战略决策机制

公式理解
算法框架

该算法由两个层级组成：meta-controller 用于获取当前状态s_t并分配相应子任务给下一层控制器完成。该层级作为强化学习机制设计的核心模块，在每一步都旨在最大化实际获得的extrinsic reward之和。在这里采用的是DQN方法，在此过程中该层Q-值更新的目标是使未来的预期回报最大化。

在这里插入图片描述

controller ：它接受来自上一层级的任务请求 并结合当前状态信息 来做出反应 决定并执行相应的操作。该控制器采用强化学习算法 设计目的即在于通过预设的目标函数 最大化系统内部定义的目标奖励信号之和 这里我们采用Deep Q-Network（DQN）方法 将其更新目标设定为此处提到的具体优化方向

在这里插入图片描述
伪代码
在这里插入图片描述
实验结果
在这里插入图片描述

延迟反馈下的实验结果，Q-learning作为baseline ,

在这里插入图片描述

延迟反馈下的实验结果，DQN作为baseline ,

全部评论 (0)

还没有任何评论哟~

相关文章推荐

Hierarchical deep reinforcement learning (H-DQN)

论文简述 原论文：http://papers.nips.cc/paper/6233hierarchicaldeepreinforcementlearningintegratingtemporalabs...

Deep Reinforcement Learning: PPO vs DQN

作者：禅与计算机程序设计艺术 DeepReinforcementLearning:PPOvsDQN 1.简介 在人工智能领域，大规模并行计算（如：GPU）成为支撑强化学习系统快速演进、实现高度抽象决策...

DQN Tutorial – Deep Reinforcement Learning with PyTorch

作者：禅与计算机程序设计艺术 1.简介 强化学习（ReinforcementLearning）是机器学习领域的一个重要分支，在很多实际场景中被广泛应用。例如，在游戏、机器人控制、自动驾驶等领域都有应用...

DQN-[Playing Atari with Deep Reinforcement Learning]

论文地址：https://arxiv.org/abs/1312.5602 Abstract 作者提出了第一个深度学习模型，成功地利用强化学习从高维感知输入中学习控制策略。该模型是一个卷积神经网络，用Q...

[DQN] Playing Atari with Deep Reinforcement Learning

论文链接：<https://arxiv.org/abs/1312.5602 引用：MnihV,KavukcuogluK,SilverD,etal.Playingatariwithdeepreinfor...

DRL前沿之：Hierarchical Deep Reinforcement Learning

1前言 如果大家已经对DQN有所了解，那么大家就会知道，DeepMind测试的40多款游戏中，有那么几款游戏无论怎么训练，结果都是0的游戏，也就是DQN完全无效的游戏，有什么游戏呢？ 比如上图这款游戏...

(Deep Reinforcement Learning with Double Q-learning, H. van Hasselt et al., arXiv, 2015)（dqn）练习

代码使用python2.x版本，tensorflow使用1.1cpu版本 论文地址:<https://arxiv.org/abs/1509.06461 ===============第一个文件repl...

Hierarchical Object Detection with Deep Reinforcement Learning论文笔记

这是一篇NIPS2016中有关目标检测的文章，虽然有点老，但是其freeanchor的思想还是值得借鉴。尤其今年和freeanchor相关的目标检测研究大火，但其大多是从先探测物体的中心点或者是关键点...

Hierarchical Object Detection with Deep Reinforcement Learning代码解读

论文类型：使用强化学习进行目标检测中推荐区域的生成 论文地址：https://imatgeupc.github.io/detection2016nipsws/ github:https://githu...

Averaged-DQN: Variance Reduction and Stabilization for Deep Reinforcement Learning

AveragedDQN：深度强化学习的方差减少和稳定性 Abstract InstabilityandvariabilityofDeepReinforcementLearningDRLalgorith...