论文速览 | CVPR 2024 | Towards Robust 3D Object Detection with LiDAR and 4D Radar Fusion in Various Weat
论文速览 | Proceedings of CVPR 2024 | Focus on Highly Reliable Three-Dimensional Object Detection Using LiDAR and 4D Radar Fusion in Challenging Weather Scenarios | 多模态感知在复杂天气条件下的鲁棒三维目标检测
1 引言
在自动驾驶领域中,三维目标检测技术可视为基础,为实现安全行驶提供保障。LiDAR与4D雷达传感器的结合不仅提高了精度,而且能够有效应对恶劣天气,从而提升了系统稳定性。本文提出了一种创新性的融合框架,通过整合两种传感器的优势,在多种天气条件下展示了其鲁棒性。我们不仅将深入解析这一融合框架,并探讨其动机、方法以及实验结果和未来展望。
2 动机
在现实世界中的自动驾驶场景中
3 方法
3.1 框架概览
本系统由包含三个核心组件构成：基于三维特征融合的自适应采样机制（3D-LRF）、基于天气条件感知的流式门控网络（WRGNet）、立体视图编码器（BEV Encoder），以及用于目标检测的核心组件。
首先，在该系统中将该系统中的LiDAR点云数据与四维雷达张量信息整合至稀疏三维卷积网络架构中进行处理。随后，在深度学习框架中设计的多维融合模块能够有效提取特征表示。在此基础上结合基于天气状况的动态门控机制，在实时采集过程中能够根据天气信息自动调节信息流的方向和权重分配比例。最后系统通过引入二维鸟瞰图编码器和多任务检测分支输出多维目标检测结果
3.2 三维LiDAR和4D雷达融合
在三维环境中，我们通过注意力机制整合利用 LiDAR 和 4D 雷达的特征信息进行数据融合。具体而言，在每个 LiDAR 体素的位置上，我们能够识别其邻近区域内的雷达体素分布情况，并据此计算对应的注意权重值：
attn((L_l)_i, (V_l)_i) = \text{softmax}((L_l)_i (V_l)_i^T)
通过这种方式，我们可以增强或抑制LiDAR特征 ，以实现更加精确的融合。
3.3 天气条件雷达流门控网络
基于天气条件对信息流进行调节是我们开发的WRGNet的核心理念。该网络通过训练出一个高效的小型天气图像分类器，在此基础上提取门控向量来优化雷达数据流动：
G_l = \text{GAP}(w_g^l ([V_l, \text{repeat}(I_l)]))
接着，我们使用门控特征 来调整最终的融合特征 ：
\hat{L}_l = L_l + G_l \otimes F_l
这种技术能够通过雷达特征实时优化对LiDAR数据的影响，在多种天气状况下实现精准的数据处理，并进而提升检测精度
3.4 鸟瞰图编码器和检测头
在BEV编码器中采用不同方法分别对原始LiDAR特征与经过增强处理后的LiDAR特征进行编码操作，并将各层提取的BEV特征进行融合后输入到检测模块中。其中包含分类模块与回归模块两个分支用于完成目标检测的任务需求，在模型训练过程中我们采用Focal loss与Smooth L1 loss作为优化目标
\text{Focal Loss} = -\alpha_t (1-p_t)^\gamma \log(p_t)
\text{Smooth L1 Loss} = \begin{cases} 0.5(x_i - y_i)^2 & \text{if } |x_i - y_i|
4 实验和结果
我们在K-Radar数据集上进行了系统性实验研究，在该数据集中涵盖了不同天气条件下的4D雷达、LiDAR以及图像数据的多维度采集与分析。通过系统的实验验证与数据分析，在目标识别系统的性能评估中，“sedan类别”的分类准确率达到了95%以上。
- 总表现：无论天气如何变化（无论是晴天还是雨天、雪天），我们提出的方法均能显著优于现有的单模态和多模态检测模型。
- 细节分析：在严寒天气中的极端情况（如大雪、暴雪等）中（ winter extreme conditions ），我们的方法展现了卓越的表现；通过引入AP3D技术，在这些情况下检测精度提升了约10%至43%。
4.1 模型分析
为了验证各组件的效果，我们进行了详细的分析：
- 模态影响方面，在LiDAR和其他4D雷达技术各自具备独特优势的情况下，
通过科学融合能够达到最优效果。 - 组件分析结果表明，
相比于传统方法，
WRGNet与改进的3D-LRF算法在检测精度方面均实现了明显提升。 - 在评估指标方面，
我们的改进型3D-LRF模块相比传统拼接结构以及注意力机制方案，
在AP3D和APBEV两个关键指标上实现了明显的提升。
5 不足和未来展望
尽管我们的模型在各种天气条件下表现优异，但仍有一些方面需要改进：
- 数据集多样性：实验研究主要依赖于K-Radar 数据集，在未来研究中建议拓展至多领域数据集以增强模型适应性。
- 实时性：鉴于现有模型架构较为复杂，在实际应用中可能影响运行效率，在后续研究中建议通过优化算法设计来提升实时检测效率。
- 更多模态融合：探索整合其他传感器技术（包括但不限于红外相机和其他类型传感器），以期实现性能的全面提升。
6 总结
本文开发了一种融合LiDAR与4D雷达技术的三维目标检测框架。该系统采用3D-LRF模块以及WRGNet技术，在多种天气条件下实现了可靠的三维目标检测效果。实验数据显示，在K-Radar数据集上的表现最为卓越。