论文速览 | IEEE Transactions on Robotics, 2024 | MS-VRO: A Multi-Stage Visual-Millimeter Wave Radar Fusi
论文速览 | IEEE Transactions on Robotics: 2024年 | MS-VRO 是一种多阶段视觉毫米波雷达融合定位技术 | MS-VRO 是一种多阶段视觉毫米波雷达融合定位技术
在当代机器人和计算机视觉领域中，视觉里程计（VO） 与 毫米波雷达 的集成被视为核心技术之一。本文提出了一种基于多阶段融合框架的新方法，并显著提升了单目视觉里程计的性能。
1 引言
作为SLAM的关键组成部分之一，**视觉里程计（VO）**在这些技术领域有着广泛的运用
本文创新性地提出了一个分阶段融合毫米波雷达与视觉信息的里程计系统（MS-VRO）。该系统通过分阶段整合毫米波雷达数据，在不同时间段实现对目标物体位置信息的有效捕捉与精确计算。研究结果表明，在精度、稳定性和通用性方面均较传统方案有显著提升。该系统整合了创新性的三部分：基于融合初始定位技术的新初始化模块；采用联合优化算法模块的新优化策略；以及基于智能特征提取与处理模块的新辅助技术。特别针对传统单目里程计面临的尺度不确定性及动态环境中的性能瓶颈，在理论推导与实验验证的基础上完成了这一技术方案的设计与实现。
2 动机
单目视觉里程计（VO）在实际应用场景中展现了显著的优势。尽管存在固有的 尺度模糊 和 尺度漂移 问题，在复杂环境中其表现依然不够理想。针对这些问题的挑战，在过去几年里研究人员致力于将视觉里程计与其他传感器数据相结合。例如，在视觉-惯性融合系统中，
毫米波雷达 作为一种新型的探测装置，在复杂天气环境中正常运行，并能够实时获取场景的空间尺度和运动速度数据。基于此特点，本文提出了一种新的解决方案：将毫米波雷达与单目视觉系统进行有效结合，从而有效补充单目视觉系统的缺陷，并构建了一个多阶段视觉-雷达联合里程计系统（MS-VRS）。
3 方法
3.1 系统概述
MS-VRO框架的主要功能是在不同阶段综合运用毫米波雷达数据以提升单目视觉里程计的效果。其具体结构如图所示。
3.1.1 雷达自运动估计
基于雷达测得的多普勒速度信息，我们可以推导出平台自身的运动速度值。具体计算公式如下：v_{r,i} = [\sin \theta_{r,i} \cos \phi_{r,i}, \cos \theta_{r,i} \cos \phi_{r,i}, \sin \phi_{r,i}] · [v_{x,r,i}, v_{y,r,i}, v_{z,r,i}]其中所述\theta_{r,i}与\phi_{r,i}分别代表观测点的方位角和仰角；而v_{x,r,i}、v_{y,r,i}、v_{z,r,i}则对应于雷达坐标系下的分量速度值。
3.1.2 视觉-雷达初始化
针对单目视觉中的尺度模糊问题，在本研究中提出了一种视觉-雷达初始化方法。基于毫米波雷达提供的绝对尺度信息，在不依赖传统标定条件下即可恢复单目视觉的准确尺度信息：s = \frac{||\Delta \mathbf{t}_{w,0}^{k,c}||}{||\Delta \mathbf{t}_{w,0}^{k,r}||}其中，Δt_w,0k,c代表视觉估计中未缩放的平移量；Δt_w,0k,r则对应于实际测得的真实平移量。
3.1.3 雷达辅助的视觉特征选择和处理
由于在动态环境下运行时会遇到各种挑战与不确定性因素的影响，在实际应用中可能会导致定位精度下降的问题。随着对系统稳定性的需求日益增长以及复杂环境下的数据处理需求不断增加，在本研究中我们提出了一种基于雷达辅助的改进型视觉里程计算法。该算法的核心在于通过优化视觉特征的选择与处理流程以增强系统抗干扰能力，并最终实现了更高水平的定位精度与可靠性保证。
动态物体特征移除：利用雷达数据识别出并剔除动态物体特征点。将雷达点云投射至图像平面后标示为动态区域，并排除这些区域内提取的特征点。
去除异常深度的坏地图点 的过程：借助雷达获取的深度数据对地面场景进行建模时，在生成的地图中可能出现一些不一致的数据特征。为了确保数据质量，在这一过程中会采用以下步骤：首先将雷达生成的三维点云数据投射至图像平面；随后通过分析生成的新地图坐标位置判断其是否存在合理的空间位置；若超出预设阈值范围，则被标记为「异常深度坏地图点」并予以去除。
3.1.4 视觉-雷达联合优化
在对视觉里程计进行跟踪的过程中（Motion-only Optimization）是一个关键步骤，在此阶段需要完成纯运动优化以便精确确定相机的姿态（Camera pose estimation）。为了进一步提升系统性能，在这一过程基础上我们引入了基于雷达测速设备的速度信息，并将其用于有效限制了尺度漂移现象（Scale Drift）。具体而言，在这一全局性目标函数中：C = Σ_ij ρ_h (e_proj_ij^T Ω_ij^{-1} e_proj_ij) + β_i ||e_rv_i|| 其中，
e_proj_ij表示在第i帧内第j个点的空间坐标与观测值之间的偏差，
而e_rv_i则代表雷达测速设备的速度估计偏差（Speed Estimation Error）。此外，在局部性优化阶段（Local Optimization），我们主要应用于关键帧及其前后帧区域内的局部优化过程，并通过引入基于雷达测速的信息作为速度限制条件，
从而显著提升了整体算法的鲁棒性和计算效率（Computational Efficiency）。
4 实验和结果
在本文中, 我们进行了系统性的实验评估, 并验证了 MS-VRO 框架在不同环境下（包括常规场景、动态变化情况以及视觉退化条件下）的实际性能表现. 所使用的实验数据集涵盖了 OdomBeyondVision 数据库、USVInland 数据集, 并且还包括了本团队独立采集的多源传感器集成数据集. 此外, 这些研究结果及分析将随后进行详细阐述.
4.1 数据集
我们使用了三个主要数据集来验证 MS-VRO 的性能：
Odom-Beyond-Vision 数据集： 包含不同楼层及场景下的共75个序列, 涵盖楼梯间、走廊以及食堂等多种场景.
USVInland 数据集： * 源自水面的多种传感器数据集合；涵盖毫米波雷达与摄像头的数据；测试环境具有较高的复杂性。
自采集多传感器数据集： 我们通过多角度部署，在城市公共区域及其周边环境中共获取了18组有序采样数据。这些数据涵盖了包括静态背景、动态物体以及视觉降质情况在内的多种典型场景，并对不同环境下可能存在的障碍物进行了详细建模。
4.2 评价指标
我们采用了以下评价指标来衡量 MS-VRO 的性能：
- 绝对轨迹误差（ATE）：用于评估估计轨迹与真实轨迹之间的整体偏差。
- 相对位姿误差（RPE）：用于评估相邻帧之间位姿变化的程度。
- KITTI标准：主要涉及路径长度与误差之间的关系。
4.3 实验结果
4.3.1 常规数据集
在常规数据集环境中,MS-VRO 已经展现出显著的技术性能优势,能够在多个关键性能指标方面取得优异成绩。我们通过系统性地对停车场、街道及公园内的10个典型场景进行动态模拟实验,并将实验结果详细记录于表格中
根据表中的数据可以观察到，在各项测试序列中, MS−VRO 均表现出较低的ATE水平.相较于基于传统单目视觉里程计和融合方法的传统手段, 其性能更具优势
4.3.2 动态数据集
为了考察 MS-VRO 在动态环境下应对干扰的能力，在高动态环境中实施了相应的测试方案。实验结果如表所示：
在动态环境中,MS-VRO通过有效地去除动态物体特征,显著提升了跟踪的稳定性,相比而言,ORB-SLAM和ORB-SLAM3在面对复杂场景时表现不够理想,尤其未能对部分####4.3.3视觉退化环境数据集中的挑战性测试用例作出完整应对
视能障碍场景 主要包含如夜间、雪天等视觉条件较差的情况。
我们在三个连续的夜间拍摄序列以及两个连续的雪夜拍摄序列中进行实验。
实验结果表明...
在视网膜退化环境下,MS-VRO凭借毫米波雷达的不依赖于光照特性,在定位精度和鲁棒性方面均实现了显著提升.相比之下,传统视觉里程计在夜间及低温条件下表现欠佳,并未能实现持续跟踪任务.
4.3.4 公共数据集
为了考察 MS-VRO 的适用性，在 USVInland 和 OdomBeyondVision 数据集上展开了进一步测试。
USVInland 数据集 结果：
在 USV-Inland 数据集中，“MS-VRO” 在所有测试序列中的 Average Track Error（ATE） 均达到最低水平，并验证了其在水面场景中的卓越表现。
OdomBeyondVision 数据集 结果：
在OdomBeyondVision数据集中，在各类测试序列上均实现了精准且稳定的定位效果。该系统相较于其他方法，在复杂场景如走廊及楼梯区域展现出显著的优势。
4.4 实验分析
实验结果表明，在不同复杂场景下,MS-VRO 的性能整体上优于现有的单目视觉里程计、视觉-惯性里程计以及多种融合算法。详细分析如下：
- 常规环境 ：在停车场、街道和公园等常规环境中，MS-VRO 通过融合毫米波雷达的深度信息，显著减少了尺度漂移问题，并且在长时间运行后依然保持较高的精度。
- 动态环境 ：在高动态环境中，MS-VRO 通过雷达辅助的动态物体特征移除，确保了系统在动态物体干扰下的稳定性和准确性。这一优势在动态实验中体现得尤为明显，传统的视觉方法在这种情况下往往会失效。
- 视觉退化环境 ：在夜间和雪天等视觉退化环境中，MS-VRO 通过毫米波雷达的全天候特性，弥补了视觉传感器在低光照和恶劣天气条件下的不足。
- 普适性 ：在不同数据集上的实验结果表明，MS-VRO 具有很强的普适性和鲁棒性，能够适应多种复杂环境。
5 不足和未来展望
尽管 MS-VRO 表现出色，但仍有一些不足之处需要进一步研究和改进：
5.1 不足
- 自旋运动的难点：毫米波雷达在纯旋转运动中存在局限性，在这种情况下系统主要通过视觉手段进行姿态估计。当平台发生大幅度旋转或视觉特征无法有效跟踪时，在这种情况下系统的姿态估计精度将显著降低。
- 外参精度要求：多传感器融合需要满足各传感器间外参数较高的精度要求。本文采用了人工校准的方式，在实际应用中由于各种环境因素的影响（如机械振动），传感器间的相对参数会发生动态变化；因此需要进一步研究自动校准和自适应调整的方法以提高系统的鲁棒性。
- 计算复杂度问题：多阶段融合算法虽然提升了定位精度但也带来了较高的计算复杂度；为了满足带算力限制的嵌入式系统的实时性需求，在实际应用中需要对算法进行针对性优化以降低运行时开销。
5.2 未来展望
未来的研究方向可以包括以下几个方面：
- 紧耦合 IMU 数据：通过紧密集成IMU数据提升框架性能，在剧烈运动与高动态环境下增强抗干扰能力。IMU高频更新提供短时精确的姿态信息弥补视觉与雷达数据不足。
- 智能特征选择：通过雷达数据优化视觉特征提取与筛选过程，在降低计算复杂度的同时提升了特征匹配精确度。采用智能算法实现对特征点选取策略的动态调节以增强系统复杂环境适应性。
- 自适应外参校准：探索自适应算法实现外参自动优化的技术路径，在应对传感器间外参变化时确保系统鲁棒性与精度。可考虑利用机器学习算法实现实时动态调整传感器间相对位置与姿态参数。
- 优化关键帧选择策略：基于毫米波雷达采集到的数据信息以及视觉特征的变化趋势进行分析研究，在根据实际需求灵活优化关键帧选取策略以适应系统运行中的动态变化情况从而进一步提升整体性能与计算效率。
6 总结
本文创新性地提出了一个基于多阶段感知的视觉-毫米波雷达融合里程计框架（MS-VRO）。本研究采用了多阶段的数据融合策略，在不同工作状态下实现了对毫米波雷达信号的有效利用。该框架显著提升了传统单目视觉里程计的准确率、稳定性和通用性。实验研究表明，在复杂的工作环境下（如正常工作状态下的多样环境），该框架表现优异，并且其性能显著优于现有技术及其它融合方案。然而，在实际应用中仍存在一些限制因素和技术瓶颈需要进一步突破以提高其运行效率与适用场景。