论文速览 | ICRA 2023 | Fusing Event-based Camera and Radar for SLAM Using Spiking Neural Networks with C
论文速览 | ICRA 2023 | Integrating Event-based Vision Systems and Radar for Simultaneous Localization and Mapping Using Spiking Neural Networks with a Continual STDP-Based Learning Mechanism | 一种基于尖峰神经网络的DVS相机与雷达融合实现SLAM的方法
Video: https://youtu.be/a7gvZWNHGoI
1 引言
在机器人导航技术领域内，同时定位与环境地图构建（SLAM）始终是一个倍受关注的研究热点。传统SLAM技术主要依赖于RGB摄像头和IMU等传感器，在复杂工作环境中通常会遇到一系列难题。本文提出了一种创新性的SLAM方案，在结合了事件相机（DVS）和频率调制连续波雷达（FMCW）的基础上，并采用尖峰神经网络（SNN）进行特征提取与处理过程，开发出一种仿生学驱动的SLAM系统方案。
这篇论文的主要贡献在于:
- 首次开发了一种融合深度视觉相机（DVS）与频率调制连续波（FMCW）雷达的自定位导航系统（SLAM），并借助稀疏神经网络（SNN）实现特征提取。
- 基于持续时空依赖可塑性(STDP) 的学习算法框架，在稀疏神经网络中实现了对动态变化的学习能力提升。
- 开发了一种融合激光雷达与陀螺仪的数据驱动里程计方法，并结合雷达数据构建动态环境障碍物模型的技术。
- 在复杂模拟环境中的多场景测试中积累大量实验数据，并通过这些测试验证了所提方法的有效性和适应能力。
2 动机
传统的SLAM方法主要基于RGB相机，在光照剧烈变化或低光环境下往往难以达到理想效果。为了应对这一挑战性问题的研究需求，在SLAM领域逐渐兴起多传感器融合技术的应用。其中,Davis事件相机以其卓越的对比度和超低延迟的特点，在较低光照强度下仍可维持良好的定位精度。相比之下,FMCW雷达系统不仅能够有效获取目标物体的速度信息和位置数据，并且完全不受光源条件的影响。
然而，在融合这两种异构传感器数据并提取有用特征信息方面仍面临挑战。传统的深度学习方法依赖于大量预处理的数据集，并且难以应对环境的变化。相比之下，在事件相机等场景中表现出色的尖峰神经网络（SNN）基于生物启发设计，并特别适合用于事件相机的数据处理。通过突触可塑性（STDP）机制，在线和无监督的学习能力使其实现了高效的特征提取。
因此，在本研究中我们的核心目标是开发一种既能充分运用DVS的优势同时又能有效整合雷达的技术特性并能根据环境条件进行自适应学习从而实现对复杂动态环境的稳定导航能力
3 方法
3.1 系统架构
本文提出的SLAM系统主要由三个部分组成：
该系统通过DVS-雷达融合SNN实现对环境特征的高效提取与编码。
该系统通过DVS-雷达融合SNN实现对环境特征的高效提取与编码。
该系统通过DVS-雷达融合SNN实现对环境特征的高效提取与编码。
整个系统的工作流程如下图所示：
3.2 DVS-雷达融合SNN
DVS-雷达融合SNN是本系统的核心部分，它由三个SNN-STDP集成组成：
- DVS正极性SNN
- DVS负极性SNN
- 雷达数据SNN
每个SNN-STDP集成的结构如下：![SNN-STDP结构图][]
SNN的数学模型基于漏积分发火(LIF)神经元 ：
\frac{dV}{dt} = \frac{1}{\tau_m}(J_{in} - V)
J_{in} = \bar{w}^T_{syn}\bar{s}(t)
\sigma = \begin{cases} 1, V \leftarrow 0 & \text{if } V \geq \mu \\ 0 & \text{otherwise} \end{cases}
其中，V是膜电位，\tau_m是膜时间常数，\mu是神经元阈值，J_{in}是输入电流。
STDP学习规则定义如下：
w_{syn,ij} \leftarrow w_{syn,ij} + \eta_d\kappa(\tau_{ij})
\kappa(\tau_{ij}) is defined as follows: when \tau_{ij} is non-negative, it equals A_pe^{-\tau_{ij}/\ tau_p}; otherwise, it equals -A_ne^{\ tau_{i j }/\ tau _n }.
在其中，\eta_d代表学习率，在于其对模型优化的作用。具体来说，在这个框架下，
变量设置为：它们分别代表长期增强(LTP)与长期抑制(LTD)的权重参数，
而对应的衰减常数则用于控制这些效应随时间的变化速率。
3.3 雷达-陀螺仪里程计
改写说明
该系统采用非线性卡尔曼滤波算法对目标进行状态估计。\ 其中状态变量包括姿态角Ψₖ及其导数Ψ̇, 位置坐标Xₖ与Yₖ。\ 状态更新方程如下：
Ψₖ被赋值为Ψₖ₋₁与Ψ̇乘以时间增量Δt_g之和；
Xₖ被赋值为Xₖ₋₁与航向速度v_h乘以余弦Ψₖ再乘以时间增量Δt_r之积；
Yₖ同样地被赋值为Yₖ₋₁与航向速度v_h乘以正弦Ψₖ再乘以时间增量Δt_r之积。\
其中，\Psi_k、X_k和Y_k分别表示无人机在时刻k的偏航角、x坐标和y坐标。
3.4 基于雷达的障碍物聚合
基于雷达检测结果与无人机位姿信息的融合，在动态环境中的墙面及其障碍物构建上取得了显著进展。
该变换将坐标系中的点(x_{d,i}, y_{d,i})通过旋转矩阵\begin{bmatrix} \cos(\Psi_k) & -\sin(\Psi_k) \\ \sin(\Psi_k) & \cos(\Psi_k) \end{bmatrix}作用后并平移向量(X_k, Y_k)得到新的坐标(\tilde{x}_{d,i}, \tilde{y}_{d,i})。
4 实验和结果
作者在难度较大的仓库场景中被系统性实验所研究，并主要包含了三个典型飞行轨迹。
- Seq-1：单一路径
- Seq-2：多路径组合
- Seq-3：包含强光照变化的路径
实验结果表明：
- DVS-雷达融合方法 在定位与建图精度方面均超越单一传感器方法。
- 所述方法在定位平均绝对误差(MAE) 和建图平均绝对误差 等关键指标上 均达到或接近基于RGB的先进算法（如RatSLAM、LatentSLAM及ORB特征提取方法）。
- 在光照条件剧烈变化的复杂环境中 所述方法展现出卓越的鲁棒性 而基于RGB视觉的传统算法在此场景下则难以正常工作。
5 不足和未来展望
本文提出的方法虽已取得令人瞩目的成果，但同时也暴露出一些需要进一步完善之处：
改写说明
参数优化：现有系统中存在多个需要人工调节的关键参数，例如SNN中的神经元阈值以及STDP的学习速率等。未来值得探索的是自适应型参数调节机制，在此过程中可重点关注其对系统普遍适用性的影响。
大范围适用性：目前的实验主要集中在仓库环境中进行，在未来的开发中，则需要在更广泛的应用场景中进行系统性能验证
多传感器融合：尽管本文已成功实现了DVS与雷达的融合研究,但在未来仍值得探索如何整合更多的类型传感器（如基于RGB-D的相机和高精度激光雷达）,从而进一步提升系统的抗干扰能力和测量精度。
语义理解：目前的系统的核心关注点在于几何信息，在未来阶段中将引入语义理解模块以提升环境认知水平。
6 总结
本文开发了一种具有创新性的SLAM方法。该文通过整合DVS相机与FMCW雷达，并借助深度神经网络（SNN）完成特征提取与数据处理。从而实现了基于生物启发机制的一种可在线学习的SLAM系统。该系统在复杂环境及强光照变化条件下表现出优异性能与高度鲁棒性。
这项研究为多传感器融合SLAM 和神经形态计算 在机器人自主导航领域的拓展开创了创新路径，并凸显了DVS与雷达这两种互补式传感器体系的潜在价值。该研究不仅深入探讨了深度视觉系统（DVS）与雷达技术的协同效应，在数据处理能力方面也揭示了突出了基于突触核化的神经形态计算（SNN）在时空数据流处理方面的独特优势与创新特性。