SDV-LOAM：半直接视觉和激光雷达融合SLAM

在公众号「3D视觉工坊 」后台回复「原论文 」，可获取对应论文pdf文件。

参考论文：SDV-LOAM: Semi-Direct Visual–LiDAR Odometry and Mapping

作者机构：华中科技大学人工智能研究所

论文链接：[https://ieeexplore.ieee.org/document/10086694]

项目主页：[https://github.com/ZikangYuan/SDV-LOAM)

本文阐述了一种名为SDV-LOAM的新系统，该系统融合了相机与LiDAR信息以达成精确且强大的姿态估计与建图目标。现有技术通常采用特征提取或直接匹配法作为视觉模块的基础，并未能充分应对由稀疏特征提取带来的误差问题。研究团队的主要驱动力在于结合不同技术优势以提升姿态估计的准确性。所提出的SDV-LOAM系统整合了两个关键组件：半直接视觉里程计模块以及自适应扫描LiDAR里程计模块。通过开发一种创新的方法来提取和匹配点特征，并以此减少帧间尺度差异，在此过程中实现了更为高效的定位与建模过程。在KITTI训练集上的评测数据显示 SDV-LOAM 的性能排名位列第八 优于大多数现有的LiDAR及视觉-LiDAR组合系统，在复杂环境里可实现高精度的同时保障较高的输出频率。

1 背景

本文开发了一种结合摄像头和激光雷达的视觉定位与地图构建系统。现有基于特征提取、直接匹配以及半直接匹配的方法在视觉里程计/SLAM领域存在局限性，在处理由LiDAR技术难以有效解决的由视觉模块产生的稀疏特征引起的定位误差方面表现不佳。该系统在图像采集过程中容易受到噪声干扰，从而降低了定位精度；此外，在动态环境中获取的地图信息往往较为有限。针对大规模复杂环境中的精确定位与动态地图构建需求，我们开发了一种融合摄像头和激光雷达的数据融合算法。该算法能够有效整合多源传感器数据，在保证计算效率的同时实现了高精度的姿态估计和实时地图更新。

SDV-LOAM由两个关键组件构成：半直接深度增强视觉里程计和LiDAR里程计。这些组件通过扫描重建组件结合，在此过程中将LiDAR点云的输入速率提升至与相机图像同步的速度。相较于现有技术方案，在黄区部分我们实现了核心创新。值得注意的是，在本研究中所讨论的所有频率设定均基于理想化的计算资源假设。“60 Hz 视觉姿态”以及相应的重建云均为本研究的核心参数设定值。“然而，在实际应用中”这些参数值可能会根据具体硬件配置进行调整以实现最佳性能平衡

2 方法

2.1 半直接视觉里程计

该模块通过半直接视觉里程计技术实现精准的位姿估计。具体而言，在每一段时间内，系统会捕捉到大量高对比度区域（即高梯度像素），并将其投射至3D LiDAR点云中以实现追踪效果。为了提升精度，在这一过程中采用了创新的点匹配传播策略：首先，在当前帧图像中精确识别出特征点，并将其直接对应到中间关键帧中的相应位置；随后将这些对应关系传递至后续的关键帧处理环节；最终系统能够在跨越多个时间间隔的框架间准确估算出相对位姿变化量。整个过程分为三个核心步骤：特征捕获、特征对齐以及姿态重建。在第一阶段（特征捕获），系统不仅能够自动识别并标记出各关键时间点上的显著区域（即高渐变像素区域），还能实时生成相应的三维投影图谱以便后续分析参考；第二阶段（特征对齐）则通过应用一种创新的点匹配传播策略，在当前帧与中间关键帧之间建立特征对应关系；第三阶段（姿态重建）则利用上述获得的所有时空域关联信息构建起完整的位姿变换模型。特别值得注意的是，在第二阶段的具体实现过程中，默认假设各相邻时间间隔内的尺度变化不会超过设定阈值；如果出现超出预期的情况，则会自动触发误差修正机制以保证整体精度不受影响；最后通过应用一种强大的抗噪声核函数来消除离群值的影响，并最终完成整个系统的闭环控制流程

2.2 自适应扫描映射 LiDAR 里程计模块

LiDAR模块中的自适应式扫描映射技术根据垂直方向上几何约束的具体程度，在方位自由度或方位全自由度维度下分别实现了对3个或6个姿态优化方案的选择。该系统采用了创新性的扫描重建技术，在保证与相机图像同步输入频率的基础上，在理论层面实现了高精度的LiDAR里程计输出效果。该改进方案通过降低垂直方向的姿态估计漂移程度，在多个现有的开源开源 LiDAR里程计系统中显著提升了其整体性能水平。

本节主要介绍扫描重建算法的原理及其实现过程。在实验环境中，我们接收三个连续帧的原始点云数据集Sj、Sj+1和Sj+2，并通过叠加运算完成60Hz级别的重构计算过程，在后续处理中生成一系列高精度的重构点云数据集Si+7至Si+17（其中i为循环索引）

3 实验

本文对SDV-LOAM在KITTI里程计基准测试以及基于定制硬件平台的大规模环境下的性能进行了考察，并通过对比实验验证了其优越性。具体而言，在KITTI里程计基准测试中，该算法位居第8位，并显著优于当前主流的激光雷达与视觉激光雷达里程测量系统。此外，在视觉模块方面也实现了超越现有最先进视觉里程测量系统的突破性进展。值得注意的是，在LiDAR模块中采用的自适应扫描至地图优化方法不仅提升了系统精度，还显著延长了有效工作距离范围。最后通过实际环境下的运行测试充分验证了该算法在复杂场景下的稳定性和可靠性

表 5 的结果显示，在所有序列上与 DEMO 比较时我们提出的视觉模块表现更优，在 KITTI 数据集中多数序列中优于 DVL-SLAM。具体而言，在 R TE 指标上我们方法相较于 DEMO 减少了 37.9%，相较于 LIMO 减少了 15.3%，相较于 DVL-SLAM 等人减少了 23.4%。在序列 00-10 的平均运行结果上相比 DVL-SLAM 减少了 26.5%，在序列 11-21 的平均结果上相比 DEMO 减少了 22.8%，相较于 LIMO 则减少了 5.4%。对于序列编号为 03、04 和 07 的情况我们系统的准确率低于 Huang 等人的报告因为这些序列具有丰富的线特征而使我们的系统在识别精度上稍有逊色。在英特尔酷睿 i7-11700 CPU 上我们的 VO 运行时间维持在每帧 0.06 秒水平这比 LIMO 需求更高这是因为后者依赖 GPU 加速以处理复杂的语义标签信息并过滤异常值然而 DVL-SLAM 和 VLOAM 均无法实现实时运行效果。相比之下我们的方法仅依赖 CPU 就能高效完成视觉里程计任务并且测试结果已在官网平台正式发布并命名为 SD-DEVO（即 SD-LOAM）。值得注意的是 DEMO 实际上是 V-LOAM 中采用的视觉模块因此与之对比的结果也能充分证明我们的 VO 方法较 VLOAM 具有显著优势

欢迎关注微信公众号「3D视觉工坊」。诚邀您关注我们的官方订阅号「3D视觉工坊」。如果您需要加入讨论群组、投稿分享或参与课程主讲，请您添加我们的官方订阅号 «3D视觉工坊» ，并在消息中特别注明您的角色（如加入群组、投稿分享或参与课程主讲）。

该研究开展了一系列扫描重建实验以评估不同时间段下的定位精度。(a)-(d)时段未采用任何额外的技术手段进行空间重构,而(e)-(h)时段则通过引入基于LiDAR的数据完成精确建模,从而实现了更高的定位精度对比分析表明,在相同的时间间隔内,采用该方法可显著提升LiDAR系统的姿态更新频率

4 总结

a. 工作的意义：开发了一种创新性的视觉-LiDAR里程计与建图系统SDV-LOAM，在相机与激光雷达信息综合运用的基础上实现了高效的姿勢估計与实时建模功能，并在性能上超越了当前可用的相机与激光雷达组合体。
b. 创新与性能：该系统通过引入半直拍视觉模块、自适应扫描映射LiDAR组件以及新型点提取匹配方法，在解决视觉-LiDAR融合中的稀疏特征建立问题方面取得了突破性进展；该系统动态优化了姿态估計流程，并提升了LiDAR原始点云输入频率；经过在KITTI数据集以及自行搭建硬件平台上的测试验证，在实际应用中展现出良好的效能表现。
c. 研究结论：SDV-LOAM通过有效结合相机与激光雷达数据实现了精准的姿勢估計及实时地图构建功能；该算法在KITTI数据集上的表现优于现有系统；通过进一步研究可以将LiDAR深度信息作为视觉基准解算的软约束条件来提升系统的整体效能。

加入小助理的微信dddvisiona, 即可加入**「SLAM」**微信群