毫米波雷达论文速递 | Dual Radar: A Multi-modal Dataset with Dual 4D Radar for Autononous Driving
注1:本文属于"最新论文速览"系列之一,旨在简明扼要地介绍和解释最新的顶会/顶刊论文
Arxiv 2023 | 双模雷达系统：一套全面的多模态数据集，配备双4D雷达系统，旨在用于自动驾驶应用。
摘要
- 本研究构建了一个大型多模态数据集，并整合了两类4D雷达观测数据作为研究基础。该数据集旨在支持自动驾驶系统中的三维目标识别与追踪。
- 该集合涵盖了多种复杂环境条件下的实时观测数据，并可全面评估各类4D雷达技术在实际工作环境中的性能表现。
- 经过严格校核与标注的视频帧数量达到1.0万帧以上，并涵盖超过十万份高质量的标注样本信息。这些视频片段主要覆盖了从清晨到夜晚的连续观测时间段，在多数时段时长维持在20秒内。
介绍
- 相较于普遍采用的三维雷达系统,4D雷达不仅具有更高的垂直分辨率,还能实现更密集的数据采集,成为自动驾驶复杂场景感知领域的极具发展潜力的关键技术。
- 尽管传感器工作频率提升带来了更高的噪声水平,但不同厂商采用了多样化的降噪算法,这导致了数据密度与噪声度之间呈现出明显的正相关关系。
- 目前尚缺乏对多种4D雷达技术在自动驾驶算法中的综合性能评估工作,主要原因在于现有研究仅聚焦于单一技术路线。
- 针对上述问题,本研究提出了一种创新性地构建了一个新型大规模多模态数据集,该数据集能够同时融合两种类型4D雷达的数据信息。
数据集
该数据集由三类传感器的数据构成：高分辨率摄像头捕捉物体图像信息；80线机械激光雷达收集三维空间细节；此外还集成两种类型的4D雷达（Arbe Phoenix和ARS548 RDI），这些雷达能够实时采集物体运动轨迹数据。基于这些传感器协同工作的特点，在实验环境中实现了精确的时间同步定位与导航系统构建；该系统能够实时获取并分析各目标物体的三维空间分布情况，并对其所属类别及追踪标识符（ID）进行精确分类与识别；在实验过程中从约5万帧同步观测数据中筛选出10007帧具有代表性的高质量观测样本，并对其中包含的103272个独立目标物体进行了精准的空间位置测量与特征识别。
数据统计
主要研究领域涵盖汽车、行人及自行车等关键领域,其占比超七成。基于天气状况和时间区间统计了各区间帧数,其中约六成来自理想天气场景。多数目标距测距范围不足60米,LiDAR雷达生成的点云数量多集中在11万至12万点左右,Arbis-Arbyrhius雷达则呈现较低密度分布特征,具体数值分布在6千至一万四千点之间,而Arbyrhius雷达的点云密度更低,呈现集中化趋势
数据可视化
在图像、LiDAR点云以及两种雷达点云上展示了3D包围框的标注结果。
在不同场景、天气状况及光照条件下, 雷达系统表现出显著稳定性。
Arbe Phoenix雷达获取的数据呈现出更高的密度，在此过程中虽然采集到的数据更加密集, 但其精度却有所下降。
而ARS雷达则对数据进行了降噪处理，在此过程中虽然点云密度有所降低, 但能够更好地保留目标物体的信息细节。
实验
本研究采用了当前最前沿的多个基准模型，在标准化的数据集上进行了系统性实验验证。实验数据显示，在目标检测任务中，LiDAR点云展现出优异的效果；然而，在复杂场景下（如雨天），4D雷达仍需进一步优化以提升性能。不同类型的雷达设备在目标识别上的表现存在显著差异：单个传感器的工作效率虽然有所差异，但多传感器协同工作模式的引入，在多个复杂度等级的目标识别任务中，整体检测精度得到了显著提升。研究表明，在复杂的天气条件下（如雨天），4D雷达系统的表现优于传统的LiDAR技术。
结论
- 本研究提出的双4D雷达数据集可被用于对比不同类别的雷达性能。
- 该数据集涵盖复杂场景，并可被用于评估不同雷达点云感知算法的效果。
- 后续工作计划新增更多恶劣天气场景的数据以进一步验证系统性能。