论文速览 | Arxiv 2024 | Enhancing mmWave Radar Point Cloud via Visual-inertial Supervision | 通过视觉惯性监督增强毫
论文速览 | Arxiv 2024 | Enhancing mmWave Radar Point Cloud via Visual-inertial Supervision | 通过视觉惯性监督增强毫米波雷达点云
1 引言
毫米波雷达 作为一种对恶劣天气条件具有鲁棒性的传感器 ，如今在汽车和机器人领域 得到了广泛应用。相比于激光雷达和相机系统 ，毫米波雷达可以在雾、暴雨和暴风雪等恶劣天气条件下稳健工作 ，但其点云密度较低 。目前，大多数技术通过激光雷达数据的监督 来增强毫米波雷达点云。然而，高性能的激光雷达造价昂贵，在车辆上并不常见 。本文提出了一种利用低成本相机和惯性测量单元（IMU）对雷达点云进行增强的监督学习方法mmEMP ，可以从商用车辆上众包训练数据 。
2 动机
视觉惯性（VI）监督带来了挑战 ，主要表现在两个方面：
- 动态物体的空间不确定性 。相比于激光雷达直接提供场景中物体的3D掩码，相机图像只提供2D像素，缺乏深度信息。尽管最先进的VI-SLAM技术可以通过密集视觉特征对3D场景进行重建，但动态特征破坏了对极几何假设 ，导致重建结果是相机中心与运动点在多个帧中的交点。
- 由于RF多径反射产生的虚假雷达点 。这些点并不代表真实物体，但会使机器人误解场景 。
3 方法
为了应对上述挑战，mmEMP设计了两个模块：
动态3D重建算法 。该算法基于刚体上所有点在相机帧之间共享相同平移 的关键观察，将动态3D重建问题转化为非线性最小二乘问题 ，从而恢复动态特征的3D位置。
\mathbf{X}^* = \arg\min_{\mathbf{X}} \frac{1}{2} \sum_{i=1}^N \Vert \mathbf{e}_i(\mathbf{X}) \Vert^2
其中，\mathbf{e}_i(\mathbf{X}) = \hat{\mathbf{z}}_i - \mathbf{F}(\mathbf{P}_i, \Delta\mathbf{d})，\mathbf{X}为待求解的未知向量，包含N个动态特征点的3D位置\mathbf{P}_i和刚体平移\Delta\mathbf{d}。
神经网络管线 。该管线利用VI 3D重建结果来增密雷达点云，估计车辆姿态，并消除虚假雷达点 。通过检查连续帧之间的空间稳定性 ，可以识别并去除虚假点。这需要对应的刚体变换来转换坐标系，因此神经网络首先估计刚体变换，然后使用空间稳定性检查算法来细化点云。
4 实验和结果
为了全面评估mmEMP的性能，我们在真实场景下构建了一个全新的数据集 ，包含来自车载毫米波雷达的RDM、相机图像和IMU序列。数据集涵盖了不同的环境条件和动态物体 ，如行人、车辆等。我们将数据集划分为训练集和测试集，并与最先进的基于激光雷达监督的方法进行了比较。
点云增强性能 是我们评估的首要指标。我们采用了多个度量标准，包括点云密度水平（RPCDL）、Chamfer距离和Hausdorff距离 。实验结果表明，mmEMP在所有度量标准上都取得了与基于激光雷达监督方法相媲美的性能。特别是在RPCDL方面，mmEMP的表现尤为出色，这归因于其动态3D重建算法和神经网络管线的有效协同 。
RPCDL = \frac{N_{enhanced}}{N_{original}} \times 100\%
其中，N_{enhanced}表示增强后的点云数量，N_{original}表示原始雷达点云数量。
我们进一步探究了mmEMP在不同动态物体比例下的鲁棒性 。通过控制动态特征的数量从0到30，步长为5，我们发现mmEMP在各种设置下都表现稳定。即使在动态特征数量较高的情况下，mmEMP仍然能够保持良好的点云增强性能，这证明了其动态3D重建算法的有效性 。
除了点云增强，我们还将mmEMP应用于目标检测、定位和建图等任务 ，以展示其实际应用价值。在目标检测方面，我们采用了基于点云的3D目标检测算法，如PointRCNN和VoxelNet。实验结果表明，使用mmEMP增强后的点云可以显著提高检测精度，尤其是对于远距离和遮挡物体 。在定位和建图任务中，我们将增强后的点云输入到基于图优化的SLAM系统中。与原始雷达点云相比，mmEMP的点云能够帮助SLAM系统构建更稠密、更准确的地图 ，并提高定位精度 。
e_{trans} = \frac{1}{M}\sum_{i=1}^{M} \Vert \mathbf{t}_i - \hat{\mathbf{t}}_i \Vert
e_{rot} = \frac{1}{M}\sum_{i=1}^{M} \angle(\mathbf{R}_i, \hat{\mathbf{R}}_i)
其中，\mathbf{t}_i和\mathbf{R}_i表示第i帧的估计平移和旋转，\hat{\mathbf{t}}_i和\hat{\mathbf{R}}_i表示对应的真值，M为测试集帧数。
综上所述，大量实验结果证明了mmEMP在雷达点云增强、目标检测、定位和建图等任务中的优越性能 。这些结果突显了mmEMP作为一种经济高效的雷达点云增强方案 的巨大潜力，有望在智能驾驶和机器人领域得到广泛应用。
5 不足和未来展望
尽管mmEMP取得了令人鼓舞的结果，但仍存在一些不足和值得进一步探索的方向 ：
动态物体的语义分割 。目前，mmEMP假设动态特征是离群点，但更精细的语义分割有助于提高动态3D重建的精度和鲁棒性。未来可以考虑引入基于深度学习的语义分割模型，如Mask R-CNN和DeepLab，以实现像素级别的动态物体识别和分割 。
端到端的神经网络设计 。现有的管线仍然依赖于传统的几何方法，如RANSAC和图优化。设计一个端到端的神经网络架构 ，将动态3D重建、点云增强、姿态估计等任务统一到一个框架中，有望进一步提升性能并简化流程。这可能需要探索新的网络结构和损失函数设计。
更大规模、更多样化的数据集 。尽管我们构建了一个全新的数据集，但其规模和多样性仍有限。未来应该致力于拓展数据集的规模和多样性 ，覆盖更广泛的场景、天气条件和动态物体类型。这将有助于提高mmEMP的泛化能力和实际应用价值。建立一个大规模、高质量的公开数据集 也将推动该领域的研究发展。
6 总结
本文提出了mmEMP，一种利用低成本视觉惯性传感器增强毫米波雷达点云的创新方法 。mmEMP巧妙地解决了视觉惯性监督带来的动态物体和虚假雷达点问题，通过动态3D重建算法 恢复动态特征的3D位置，