Foundation Models in Robotics: Applications,Challenges, and the Future
本文属于LLM相关领域的一篇综述性文章，基于《Foundation Models in Robotics: Applications, Challenges, and the Future》的翻译。
摘要
我们聚焦于预训练基础模型在机器人领域的应用现状。传统深度学习模型在互联网级数据集上进行训练，这在实际应用中面临数据集专用化的问题，从而限制了其在不同应用场景中的泛化能力。相比之下，经过基础模型预训练的算法展现出显著的效果，并在某些关键领域展现出在训练数据不存在的情况下解决问题的能力。这些基础模型为增强机器人自主系统提供了潜力，特别是在感知、决策和控制等核心环节。例如，大型语言模型能够生成代码并提供常识推理功能，而视觉语言模型则实现了对开放词汇的视觉识别。然而，机器人领域仍面临诸多重大研究挑战，包括基于机器人相关训练数据的可扩展性、系统安全性和不确定性量化，以及实时执行能力的提升。在本研究中，我们系统性地梳理了近期基于或辅助解决机器人问题的预训练基础模型研究。我们深入探讨了基础模型如何助力机器人感知、决策和控制能力的提升。同时，我们分析了制约机器人领域基础模型广泛应用的关键障碍，并对未来研究方向提出了建设性建议。相关研究代码和数据集均已托管在GitHub项目https://github.com/robotics-survey/Awesome-Robotics-Foundation-Models中。
1 引言
2 基础模型背景
3 机器人技术
4 感知
5 嵌入式AI
6 挑战与未来方向
7 结论
通过系统性研究最近的文献，我们对基础模型在机器人技术中的多种多样的应用领域进行了深入探讨。我们对这些模型如何显著提升了机器人在决策、规划、控制以及感知等方面的能力进行了系统性分析。我们还系统性探讨了具体人工智能和广义人工智能领域的文献，重点关注机器人学家如何将该研究领域的概念延伸到现实世界中的机器人应用。基础模型的泛化能力、零样本能力、多模态能力和可扩展性可能彻底改变机器人技术领域。然而，在将基础模型纳入机器人应用的过程中，我们认识到这一范式转变将带来未来研究中需要解决的关键挑战和潜在风险。例如，机器人应用中的数据不足、机器人环境的多样性、不确定性评估、安全性评估以及实时性能要求仍然是未来研究中的主要问题。我们对其中一些关键挑战进行了深入研究，并讨论了可能的改进方向。