【论文速读】BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework
发布时间
阅读量：
阅读量
文章目录
-
- 概要
- 整体架构流程
- 创新点
- 模型性能
概要
BEVFusion是一种新型的激光雷达与相机融合技术体系，在3D目标检测任务中被精心设计出来，并旨在增强系统的抗干扰能力。该体系的关键在于打破了相机数据与激光雷达数据之间的依赖关系，在此基础之上实现了即使当激光雷达失效时仍可依靠相机捕捉到的数据进行精准的目标识别。
整体架构流程
该系统由两个独立的流构成,分别从相机和激光雷达获取原始数据并提取特征,这些特征则被整合到统一的鸟瞰图（BEV）空间中进行处理,随后通过简单的融合模块将各部分信息进行整合以完成整体任务。
相机流首先采用二维骨干网络提取图像特征。接着利用FPN结合自适应模块ADP来进行多尺度特性的整合。随后经过二维到三维视图转换器将这些数据转化为三维ego-车体坐标系内的信息，并最终将其编码为BEV空间中的表示形式。
激光雷达流则主要采用PointPillars、CenterPoint或TransFusion等网络结构进行处理
创新点
- 分别独立的编码流：BEVFusion系统开发了两个独立的编码流来处理不同传感器的数据。相机流采用Lift-Splat-Shoot（LSS）方法生成多视图图像特征并将其转换至3D空间表示。
- 在以 ego 为中心建立的空间坐标系中生成相机对应的二维视图特征。而激光雷达数据则通过体素或柱状体特征提取方法转换到BEV空间完成处理。
- 动态融合模块：通过一个基于通道注意力机制的特征融合模块对来自不同传感器的BEV特征进行动态整合与优化选择。
- 鲁棒性增强策略：为了模拟激光雷达的工作限制条件，在训练过程中引入了数据增强技术包括随机丢弃部分对象点以及模拟传感器视野受限的情况。
- 多源特征融合机制：该系统在正常工作情况下表现出优异性能，并且即使在个别传感器失效时仍能维持较高的检测准确率水平。通过实验验证，在激光雷达数据缺失或相机故障情况下相比传统单模态系统能显著提升检测性能。
模型性能
BEVFusion在nuScenes数据集中的应用中展现出色的性能表现，在该数据集上的平均精度（mAP）值达到了69.2%，显著超越了现有最先进方法。当模拟激光雷达出现故障时，在此特殊条件下其平均精度进一步提升至28.9%，较之前情况提升了15.7%。此外，在激光雷达和相机同时发生故障的情况下，BEVFusion依旧展现出优异的检测能力，在多模态三维目标检测中实现了良好的鲁棒性和实用性
全部评论 (0)
还没有任何评论哟~