具身智能技术趋势

北京大学-董豪

北京大学董豪先生

系统性阐述了具身智能技术G3与G4的重要性，并探讨了实际应用场景下的数据来源及其与模拟环境中的数据和网络环境下的实时数据之间的相互关联。

具身智能趋势

趋势：探索一种通用路径以实现所有上肢操作；要求包括低成本以及拓展至所有操作任务；目标是让任何物体都能完成任意操作以达成目标

以抓取为例进行说明时，则可以通过仿真合成技术实现将3D模型导入到虚拟环境中，并将场景同步至同一个虚拟环境中以生成大量数据样本。

通过仿真学习——抓取位姿 VS 通过实采采集——端到端方法

仿真：静态任务，传统规控
实采：动态任务，闭环策略（类人），成本更高

趋势：仿真——端到端采集轨迹

仿真瓶颈：① 仿真合成面临复杂性高的操作挑战 ② Sim2real映射难以实现 ③ 大部分物理仿真的运行效率低于实际采集数据

存在一个数据金字塔

有效途径能够满足多种操作需求同时保持较低的成本水平

从获取数据的角度而言，在自动驾驶方面相对容易实现；然而，在处理复杂的环境或Corner cases时较为困难。

如何利用数据：真实数据分析（A）、仿真数据分析（B）及互联网数据分析（C）。
① 仅使用A类数据时，则必须探索低成本获取该类型的真实数据分析方法。
② 仅使用B类仿真数据分析时，在简单场景下应用效果尚可；但当涉及物理属性分析时，则效果大打折扣。
③ 仅依赖互联网数据分析（C类）显然无法满足需求。
④ 将真实数据分析与仿真数据分析相结合时，则需要考虑如何实现两者的有效对接。
⑤ 未来的发展趋势将是综合运用各种类型的数据资源，并充分利用其潜在价值

分析数据的维度（3个）
一、成功率

互联网领域产生的数据量非常庞大，
然而却难以实现有效的操作与应用，
在实际应用中会遇到明显的限制，
这种限制并非单纯由
... 数据量决定，
而是由于受到
... 物理仿真的限制。
通过对其原始
... 仿真数据进行扩展与优化处理，
并增加细节
... 纹理信息等手段进行提升，
然而，
如何有效降低该过程的成本
则是一个关键挑战。

二、泛化分级

三、算法

计算机视觉、模仿学习、模仿学习+强化学习

趋势分析：

(1) 企业集团与行业领军者将加速趋向于并行采用真实数据与仿真数据结合。
(2) 端到端模型仍是大趋势。Real2Sim2Real在局部任务上易受限制，在实际应用中具有良好的基础物理仿真支持但仍有提升空间。该研究领域仍具备广泛的研究探索空间。
(3) 开源硬件与软件呈现多元化发展态势。基于仿真的技术和基于采集的真实样本技术最终将汇聚至少数主流平台，并迎来技术平等的时代。