IEEE-TRO 2022 年傅京孙最佳论文: Kimera-Multi

推荐大家关注3DCV，一个关注3D技术，更关注3D产业的公众号。

作者：高斯求

来源：3DCV

在最近举行的伦敦ICRA会议上（注：[1]），公布了Transactions on Robotics 2022傅京孙最佳论文（注：该奖由IEEE Robotics and Automation Society设立），归功于由MIT Luca Carlone教授领导的SPARK LAB实验室完成的研究成果：Kimera-Multi。

Kimera-Multi[3] 是一个由多个独立机器人组成的分布式 SLAM 系统，在每个 Kimera 设备中均配备一套独立的度量语义地图。当任意两个机器人之间能够实现通信时 ，这些共享的地图数据有助于构建全局一致的地图； 该研究团队提供的开源代码已成功发布 （链接：https://github.com/MIT-SPARK/Kimera-Multi）

据IEEE Spectrum文章[2]报道，在IEEE-TRO 2022年收到的投稿中Kimera-Multi脱颖而出，在经由审稿人和编辑投票评选后最终斩获最佳论文殊荣；现任IEEE-TRO总主编、西北大学Kevin Lynch教授表示：众多TRO编委与审稿人均对Kimera-Multi的优雅理论表示高度赞赏，并对其在相关领域的实践效果及开源代码提供了高度认可。如今Kimera-Multi已成为分布式多机器人SLAM领域的标杆性方案！

编辑部成员以及审稿人对本论文及其附带的开源代码表示了深刻的印象。在分布式的多机器人同时定位与建图（SLAM）方法中，Kimera-Multi 已经成为了这一领域的重要标准。

除了宣布外，还公布了IEEE-TRO 2022年度 傅京孙最佳论文荣誉奖（King-Sun Fu Best Paper Award Honorable Mention）的具体成果。

Systemic stabilization for Complementarity Systems by Contact-Aware Controllers, Peking University

Autonomous Cave Surveying With an Aerial Robot, CMU

Prehensile Manipulation Planning: 建模、算法和实现, 法国图卢兹大学

Rigid-Body Dynamics with Rocking and Walking Hybrid: Object's locomotion mechanism governed by passive rolling dynamics and periodic active control, 港科

The origami-inspired flexible actuators are designed to respond to stimuli and are applied in the development of robotic crawlers. This research was conducted at Shanghai University.

Kimera is a collection of open-source tools aimed at performing Real-Time Metric-Semantic Processing tasks, particularly excelling in State Estimation and Environment Modeling.

在阐述 Kimера-Multi 系统之前，请简要介绍 Kiméra-1（即 Kiméra[4]）。该系统由 Lu卡团队于 ICRA 2020 年发表。 Kiméra 是一个旨在实现语义 SLAM 的系统；其主要输入为双目摄像头与 IMU 数据；该系统能够在 CPU 上实时完成三维网格模型的重建并赋予物体语义标签；目前 Kiméra 的引用次数已超过 300 次。

该系统采用了模块化设计方案，并主要由三个核心组件构成：包括 Kimera-VIO & Mesher 、 Kimera-RPGO 和 Kimera-Semantics 。各个功能单元具有独立运行能力，并附带了完整的C++代码库（可通过访问 GitHub 地址获取）。

Kimera-VIO&Mesher：主要包含VIO模块和mesh重建；

Kimera-RPGO：提供鲁棒的位姿图优化，包括优化和回环检测；

Kimera-Semantics：在重建的mesh的基础上提供3D语义标签信息。

在此基于ICRA 2020年的论文Metric-Semantic Mapping的基础上

该系统通过在Kimera度量语义的网格地图中加入四层结构实现了五层分层图。

第1层Metric-Semantic Mesh：基于Kimera框架构建的Metric-Semantic Mesh模型，在功能模块上进行了优化与扩展；该系统在行人检测和动态分割方面表现更加突出，并支持实时处理能力。

在第二层架构中 Objects and Agents 的处理上采用了多样化的策略，在处理不同类型的 Objects 和 Agents 时采取了多样化的策略。首先对行人进行3D mesh重建，并计算其运动轨迹。在这一过程中将处理对象划分为两类：一类是具有明确形状的对象模型（如CAD），另一类是通过欧氏聚类算法自动识别的对象边界框。具体而言 未被明确定义的目标物体则采用欧氏聚类算法对目标物体边界框进行自动识别与重建 而具有明确几何特性的对象则采用基于CAD模型的方法进行建模以确保精度与合理性

第三层次Positions and Architectures: Determining the high-level comprehension of scenes and their architectural organization.

第四层Rooms：使用了ESDF的表示；

第五层Buildings：最高层，代表整个场景。

在后续的研究工作中，本研究团队将该框架命名为Hydra[8]。该代码库已开源，并可通过以下链接访问：https://github.com/MIT-SPARK/Hydra。与RSS2020的文章《3D dynamic scene graphs: Actionable spatial perception with places, objects, and humans》相比，在循环检测方面的主要贡献在于通过层次化的描述方式（hierarchical descriptors）实现了这一功能。

Hydra的期刊版本号为《Foundations of Spatial Perception for Robotics: Hierarchical Representations and Real-time Systems》[10]，被投至IJRR

Kimera-Multi: Resilient, Decentralized, Comprehensive Metric-Semantic Simultaneous Localization and Mapping for Multi-Robot Systems

Kimera-Multi是一个分布式多机器人协同SLAM系统，在该系统中各个机器人通过视觉惯性传感器系统分别部署了Kimera-VIO和 Kimera-Semantics两个核心模块来进行自身局部位姿的估计以及局部三维模型的构建。当这些机器人具备通信能力后，在系统的初始化阶段基于分布式渐进式非凸性算法框架实现了一套完整的检测与优化流程：首先引入了基于闭环检测的检测功能以识别并剔除异常数据点；其次通过优化功能实现了位姿图的整体精度提升。这种设计不仅增强了定位结果的可靠性还显著提高了三维模型重建的质量。

Kimera-Multi的核心算法流程包括：通过分布式架构执行的回路探测过程，在分布式框架下解决的路径规划问题，以及最后阶段对动态环境下进行局部路径规划的方法。

在分布式回环检测机制中，在各机器人之间实现通信的情况下（即能够互相通讯时），各机器人会依次发送上一次通信时刻以来的所有关键帧信息给其他机器人（即发送自上次通讯始到当前的所有关键帧的全局描述子）。随后对接收到的信息进行 bow特征提取，并在本地进行关键帧匹配（即转换为 boW 向量后进行的关键帧内搜索匹配）。当匹配结果满足预设条件时，则计算并更新两个关键帧之间的相对变换矩阵（即计算两关键帧的相对变换关系）。

分布式轨迹优化方案：在处理outliers带来的数据偏差问题方面采取了PGO算法策略。本研究工作基于GNC框架开发出一种改进型的分布式鲁棒轨迹估计技术，并通过逐步过渡的方式使代价函数最终呈现非凸特性。该过程有助于有效规避传统方法可能导致的伪最优解问题；

局部mesh地图优化：本研究主要基于分部署PGO算法进行回环检测，并在此基础上实现了对每个机器人局部mesh地图的优化。该研究中的作者提出了基于变形图（deformation graphs）的设计思路来改进算法性能。

该方法在仿真数据集和真实场景中均展现出良好的性能表现；该系统最终实现了预期目标。

1.在完全分布式的情况下提供了鲁棒和准确的轨迹估计；

2.与kimera相比提供了3D Meshs度量语义估计的准确性；

3.通讯效率的显著提升。

Kimera-Multi is an early research paper uploaded to arXiv in 2019. Following Kimera-Multi, the Luca group integrated scene understanding from multi-robot SLAM systems with 3D Dynamic Scene Graphs. Recent advancements include the development of Hydra-Multi, a collaborative framework for real-time scene graph construction using multi-robot teams.

Reference

[1]ICRA 2023: https://www.icra2023.org/

MIT's Multirobot Mapping Team has established a new "Gold Standard" in the field of IEEE Spectrum. In a recent ICRA 2023 conference, they transformed SLAM into a collaborative prize-seeking competition, marking a significant advancement in robotics and mapping technology. https://spectrum.ieee.org/multi-robot-slam-icra2023

Kimera-Multi: 具有鲁棒性、分布式架构、密集的度量与语义同步定位与建图算法（SLAM）用于多机器人系统的研究与应用，在《The Review of机器人》上发表于2022年。

[4]Kimera: an open-source library for real-time metric-semantic localization and mapping, ICRA, 2020

[5]3D scene graph: A structure for unified semantics, ICCV, 2019

3D动态场景图：通过分析场所、物体以及人类的行为实现可操作的空间感知能力（Actionable spatial perception），发表于RSS期刊上（Journal of Robotics Science and Applications），2020年

[7]Kimera: From SLAM to spatial perception with 3D dynamic scene graphs, IJRR, 2021

[8]Hydra: A Real-time Spatial Perception System for 3D Scene Graph Construction and Optimization, RSS, 2022

[9]Hydra-Multi:采用协作在线组装技术构建三维场景图的方法研究（发布于arXiv平台（2023））

Fundamentals of Spatial Awareness in Robotics: Hierarchical Representation and Real-Time System, arXiv, 2023