Nature Machine Intelligence 提出了LEGION的机器人终身强化学习框架

2025年2月5日，来自德国慕尼黑工业大学、南京大学、中山大学和清华大学的研究团队在国际顶级期刊《Nature Machine Intelligence》上发表了一项突破性研究——“Preserving and Combining Knowledge in Robotic Lifelong Reinforcement Learning”。该研究提出了一种名为LEGION的机器人终身强化学习框架，成功解决了机器人在持续学习过程中如何保留和组合知识的难题，为机器人实现类人智能迈出了重要一步。
这项研究不仅展示了机器人在复杂任务中的出色表现，还通过结合语言嵌入和非参数贝叶斯模型，显著提升了机器人的任务理解和执行能力。研究团队通过实验验证了LEGION框架在真实世界中的广泛应用潜力，特别是在长时程任务中的表现尤为突出。论文作者包括来自德国慕尼黑工业大学的孟远，邴振山，姚相同，和Alois Knoll教授；中山大学数据科学与计算机学院的黄凯教授，南京大学计算机软件新技术全国重点实验室，南京大学（苏州）智能科学与技术学院的高阳教授；以及清华大学计算机科学与技术系的孙富春教授。邴振山博士同时隶属于南京大学计算机软件新技术全国重点实验室与南京大学（苏州）智能科学与技术学院。 ▍为什么研究机器人终身学习？ 人类具有终身学习的能力，能够不断积累知识并适应新的任务场景，这种能力被认为是实现通用智能的关键机制。然而，当前基于深度强化学习的人工智能系统虽然在特定任务上表现出色，但在面对持续的任务流时，往往会出现“灾难性遗忘”问题，即当智能体学习新任务时，神经网络的参数会被新数据覆盖，导致其遗忘先前学到的技能。因此，传统机器人强化学习模型很难像人类一样保持已有知识，并在此基础上进行拓展。传统的多任务学习方法虽然可以在一定程度上缓解这一问题，但它们通常要求机器人在训练时同时访问所有预先定义好的任务分布，这与人类的实际学习过程相去甚远。这种局限性严重阻碍了机器人在复杂环境中的应用。 为了解决这一难题，研究团队提出了一种全新的机器人终身强化学习框架——LEGION（Language Embedding-based Generative Incremental Off-policy Reinforcement Learning Framework with Non-parametric Bayes）。该框架通过结合贝叶斯非参数模型和语言嵌入技术，使机器人能够在持续的任务流中不断积累知识，并且能够通过结合和重新应用已掌握的知识，解决复杂的长期任务。

图表1展示了机器人终身强化学习过程的概念示意图

图2展示了终强化学习后的机器人在真实世界中执行单任务的表现情况。该研究通过实时捕捉技术获取了机器执行各类操作的任务画面数据。在此基础上,我们设计了实验对比,系统性地探讨了LEGOIN框架的知识保持能力及其遗忘规律。通过对实验数据进行t-SNE降维处理以及统计检验分析,我们成功地揭示了LEGOIN框架内部的知识空间演变规律。

如图3所示，在完成多个任务后进行分析时可以看到，在知识空间中形成了多维聚类结构

图4呈现了机器人在连续学习过程中的动态表现。
可以看到，在经过长时间暂停后，
机器人仍能迅速检索之前所学知识，
并在后续任务中展现出更高的成功率。
这一发现与生物学领域内的记忆强化理论高度一致。
进一步验证了LEGION框架的有效性

图表4 对知识回忆贡献评估

图表5 LEGION框架的训练与部署概述
a. 训练阶段
框架从输入中接收语言语义信息以及环境中的观察数据，并生成策略决策以指导动作模式的输出。每次训练均专注于单一任务。
b. 部署阶段
代理参数保持恒定，在真实世界的交互中接受来自硬件设备的输入信号并输出相应的动作信号。
"Sim2Real"与"Real2Sim"模块通过数据处理缩小仿真环境与现实之间的差距。
未来展望：迈向通用智能
成功实现机器人持续学习的意义不仅体现在潜力上还为智能机器人的未来发展指明了新方向。
研究团队表示将致力于优化框架提升学习稳定性并在无回放缓冲区环境下实现更为稳健的学习目标。
此外团队计划将该框架扩展至非结构化动态环境以增强其泛化能力和鲁棒性从而提升在复杂场景中的应用效果。
结合语言模型与持续学习技术该框架有望在未来实现更加广泛的智能应用推动机器人技术的进步。
结论
LEGION框架的成功标志着机器人终身学习领域的重大突破。
通过融合非参数贝叶斯知识空间与语言嵌入该框架解决了持续学习中的知识保持难题并展现了卓越的性能表现于复杂任务中。
这一创新成果不仅为智能机器人的广泛应用奠定了坚实基础也为实现通用智能迈出了关键一步。