多传感器融合SLAM --- 1.多传感器融合的基础知识

目录

1 什么是多传感器融合

1.1 有哪些传感器

1.2 它们的优缺点有哪些

1.3 基于多传感器融合的算法

2 多传感器融合方案介绍

2.1 为什么选用激光雷达

2.2 主流算法介绍 ： LOAM (A-LOAM) 、LeGO-LOAM、

3 KITTI数据集介绍

---

1 什么是多传感器融合

1.1 有哪些传感器

与SLAM技术相关的传感器主要包括相机、激光雷达、GPS、轮速里程计以及惯性测量单元（IMU）等多种设备；这些传感器在自动驾驶车辆中扮演着关键角色。

1.2 它们的优缺点有哪些

相机：优点是便宜，轻量，包含信息丰富，可以参照人眼，人工智能的巅峰估计就是只利用相机可以在任何场景下实现实时建图、定位、图像分割、目标检测和分类、导航、避障等等高级功能，缺点就是现有的通用的视觉slam技术依赖图像的纹理来进行特征点的提取，没有纹理或者黑夜图像就很难被很好的利用起来，其次，图像中缺乏3d信息，通常建模slam问题需要同时优化位姿和地图点，这给优化问题的计算和精度带来了挑战。另一方面，单目图像缺乏尺度信息。

激光雷达的优势在于能够提供三维空间信息。

该技术具备良好的探测能力，在复杂环境中表现突出。

需要注意的是其主要缺陷在于其几何特性，在直线走廊或空旷区域可能会出现性能下降。

然而该技术具有较高的价格体系，在当前市场中16线产品已较为普及且价格合理。

由于改装成本过高以及存在一定的算法限制 自动驾驶领域的乘用车通常难以直接采用低线束激光雷达。

GNSS：全球导航卫星系统（GNSS）以其提供全面的位置信息而闻名。尤其在卫星信号良好且附近存在基站的环境中，通过结合实时动态差分技术（RTK），定位精度可达到厘米级，并不受外界光照干扰以及环境几何特性的限制。

该系统的主要缺点在于基站的有效覆盖范围有限，导致其部署成本较高；同时，在城市环境中容易受到多径效应的影响，这可能导致定位精度不稳定；此外，在地下等特定场景下几乎无法提供有用的信息。

轮速里程计系统具备较高的车辆行驶信息精度，在持续时间内具有良好的状态估算能力，并能提供可靠的尺度数据作为辅助信息。然而，在实际应用中存在一些局限性：其本质仅基于二维运动模型构建，在复杂环境或极端工况下可能会影响打滑算法性能；同时无法实现全局定位精度。

IMU的优势在于能够对持续运动的状态特别是旋转等动态过程进行较为准确地估算。通过感知重力场的存在性，在滚阻角（roll）和俯仰角（pitch）方面实现了整体可观测性。这一特性使IMU不受外界环境因素如温度湿度等条件变化的影响或干扰。然而其主要缺点在于长时间积分会导致轨迹估计出现偏差当重力估计存在误差时会严重影响位移计算结果从而导致较大的系统性偏差。

1.3 基于多传感器融合的算法

根据主传感器的不同类型分别采用视觉为主的方案或激光为主的方案（其中融合其他传感器），鉴于视觉与激光两种传感器之间关联性及互补性相对有限的原因，因此较为常见的紧耦合方案较少存在（而较多的是以单一感知器为主结合其他辅助传感器）。
在视觉slam领域中：
常见的方式包括前端提取光流特征或描述子建立不同帧之间的特征关联（包括直接法如DSO），而后端通过融合前端结果和其他传感器数据进行优化（主要分为基于优化的方法如ORBSLAM2、3、VINS-MONO和VINS-FUSION）或滤波器方法（MSCKF）。其中视觉通常会提供一个重投影误差作为约束条件或更新量。
而在激光slam领域中：
目前性能最佳且应用广泛的解决方案是基于LOAM算法的一系列方法。
LOAM方案主要针对多线激光雷达设计用于lidar定位和地图构建。
值得注意的是LOAM及其改进版本如 Livox LOAM 也得到了广泛应用。
在LOAM框架下：
通常会对当前帧提取面特征或线特征作为 frontend数据
而后端结合其他传感器信息为 scan matching提供一个良好的初始估计值
这一过程对于提高 scan matching 的准确性至关重要。

2 多传感器融合方案介绍

2.1 为什么选用激光雷达

相较于图像技术，在光照条件和纹理细节方面表现出更强的鲁棒性的是激光雷达技术。基于特征点和描述子的通用视觉地图与之相比，在稳定性方面表现稍逊于激光雷达生成的地图。在高度安全导向的自动驾驶系统中，基于激光雷达的解决方案在抗干扰性和稳定性方面显著优于依赖视觉信息的技术。因此，在实际应用中，激光雷达的优势远超传统视觉技术。

2.2 主流算法介绍 ： LOAM (A-LOAM) 、LeGO-LOAM、

一种极具影响力的激光定位与建图方案，在LOAM算法体系中占据核心地位，在实际应用中通常配备惯性测量单元（IMU），该算法创新性地将Simultaneous Localization and Mapping (SLAM)分解为高频低精度的核心模块与后续处理阶段。
其中高频低精度的部分负责快速定位与配准；而后续阶段则专注于处理复杂场景中的细节信息。

在此基础上，在前端增加了地面点提取，并基于嵌入式平台的计算特性对前端进行了优化至更加轻量化程度。从而使其在算力受限的设备上实现实时处理。后端采用SLAM中的关键帧定义对其进行重构，并进一步加入回环检测及回环位姿图优化以提高地图整体的一致性水平

基于LOAM框架采用紧耦合IMU的方式，在前向定位中舍弃了帧间相对定位数据作为前端定位依据；转而以紧耦合IMU预测值替代前一时间段的帧间相对定位数据作为前端定位依据；而后端优化策略定位于LeGO-LOAM框架，并整合GPS辅助信号以提升整体一致性；最终使系统的一致性水平得到显著提升。

3 KITTI数据集介绍

该技术涉及LIDAR数据的获取。位于 velodyne 文件夹下的 sequences 子文件夹内的 00 数据集如图所示：

它的文件名以三个零开头，并未采用时间戳命名方式，默认将其存储于相机内部的时间戳记录中。