Advertisement

【论文阅读】Discovering Reinforcement Learning Algorithms

阅读量：

2020.7 arxiv

2020.7 arxiv

任务：使用meta-learning方法学习通用的强化学习算法

该方法旨在解决自动去学习agent应预测哪些（价值函数）以及如何利用这些预测结果来确定策略的问题。该方法通过引入Learned Policy Gradient（LPG）框架来实现这一目标。具体而言，该方法通过meta-learner动态决定应关注哪些输入，并避免显式限制agent对输出语义的约束。

模型框架

在这里插入图片描述

目标：根据环境分布p(ε)和agent参数p(θ)，学习最优的更新策略η（meta-learner）

在这里插入图片描述

G为累积奖励

在这里插入图片描述
LPG框架

agent采取策略π并对预测向量y进行编码；基于反向传播的LSTM模型（LPG）能够生成新的策略π和预测值y；输入条件包括当前状态s_t、动作a_t以及奖励r_t等信息

在这里插入图片描述

其中r_t为激励值，d_t表示当前步是否为episode的结束

Agent的更新\theta
在这里插入图片描述

\hat{\pi}被用来调节agent动作概率的变化方式，而\hat{y}被用来确定agent在给定状态下的目标值。

LPG的更新\eta
在这里插入图片描述

增加一些正则项后变为

在这里插入图片描述

H(y)和H(π)惩罚过于确定的预测和动作概率

平衡不同agent（不同游戏任务）中的超参\alpha

使用p(\alpha|\epsilon)进行超参采样，而不使用确定的超参

在这里插入图片描述

R为奖励，N为累积次数

meta-train
在这里插入图片描述
meta-test

采用实验集（基于breakout和boxing游戏）中的最优更新策略η，并对其余59款经典的游戏进行评估

在这里插入图片描述

f为一个与动作无关的baseline函数

实验

通过三种玩具游戏进行训练

在atari游戏中进行meta test
在这里插入图片描述

与A2C相比，不同游戏各有千秋

与目前最好的方法进行比较
在这里插入图片描述
预测向量y预测了什么
在这里插入图片描述

可以看到y的内容与policy有关，说明确实学习到了有意义的语义

全部评论 (0)

还没有任何评论哟~

相关文章推荐

【论文阅读】Discovering Reinforcement Learning Algorithms

【2020.7arxiv】 Oh,Junhyuk,MatteoHessel,WojciechM.Czarnecki,ZhongwenXu,HadovanHasselt,SatinderSingh,an...

论文阅读--Conservative Q-Learning for Offline Reinforcement Learning

摘要 在强化学习RL中有效地利用以前收集的大量数据集是大规模实际应用的关键挑战。离线RL算法承诺从先前收集的静态数据集中学习有效的策略，而无需进一步的交互。

论文阅读-Policy Optimization for Continuous Reinforcement Learning

摘要 我们研究了连续时间和空间环境下的强化学习RL，其目标是一个具有折扣的无限时域，其动力学由一个随机微分方程驱动。基于连续RL方法的最新进展，我们提出了占用时间专门针对一个折现目标的概念，并展示了如...

论文阅读--A Survey of Meta-Reinforcement Learning

论文概述 本文是一篇关于元强化学习（MetaReinforcementLearning）的综述。元强化学习是将改进强化学习算法的发展看作是一个机器学习问题的方法，通过在给定任务分布的情况下学习一个能够...

【论文阅读】Learning to Paint with Model-based Deep Reinforcement Learning

LearningtoPaintwithModelbasedDeepReinforcementLearning Abstract Introduction Relatedwork PaintingAge...

论文阅读笔记：Reinforcement learning for IoT Security

论文阅读笔记：ReinforcementlearningforIoTSecurity:AComprehensiveSurvey 文章目录 abstract 一、为何要使用RL，RL的优势在哪里 二、具...

论文阅读之Virtual-to-real Deep Reinforcement Learning

目录 论文意义 具体思路 强化学习算法的选择 测试有效性 网络架构 反馈设计 实验结果分析 仿真训练 实验测试。 实验对照 虚拟环境测试 真实环境测试 实验分析 实验结论 不足之处（个人意见） 论文意...

论文阅读--Diffusion Models for Reinforcement Learning: A Survey

一、论文概述 本文主要内容是关于在强化学习中应用扩散模型的综述。文章首先介绍了强化学习面临的挑战，以及扩散模型如何解决这些挑战。接着介绍了扩散模型的基础知识和在强化学习中的应用方法。然后讨论了扩散模型...

[论文阅读] Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations

时间：2018/08/01 会议：Robotics:ScienceandSystemsXIV 摘要&introduce 灵巧的多指手操作由于高维数和大量的潜在接触，有效地控制仍然具有挑战性。

【论文阅读】Deep Reinforcement Learning amidst Continual Structured Non-Stationarity

【论文阅读】DeepReinforcementLearningamidstContinualStructuredNonStationarity 1本文解决了什么问题？ 经典强化学习问题设置考虑的决策过...