无线感知论文速览 | CRUW3D, Vision meets mmWave Radar: 3D Object Perception Benchmark for Autonomous Driving

注1:本文属于"最新论文速览"系列中的一份综述文章,旨在系统梳理和深入解析近期发表在顶级会议或期刊论文中的创新成果与研究进展

无线感知领域的研究综览 | Arxiv 2023 | CRUW3D, Vision与毫米波雷达结合：面向自动驾驶的三维物体感知基准

论文链接: https://arxiv.org/abs/2311.10261

摘要

本文系统地开发了新的基准数据集CRUW3D；整合了高度同步并精确校准的摄像头、雷达和激光雷达设备，并标注了物体的三维 bounding boxes 和运动轨迹信息。
通过促进摄像头与毫米波雷达之间的传感器融合技术的应用，显著提升了自动驾驶系统的可靠性和稳定性。
该数据集涵盖了不同光照条件下的场景，在基于视觉的方法中是一个关键难点；然而，在这种环境下进行基于多传感器融合的数据分析研究仍存在较大挑战，并因此成为评估这类算法性能的理想测试平台。

相关工作

现有的数据集和感知解决方案主要聚焦于摄像机与激光雷达的融合。
然而,其协作作用并未得到充分重视。
大多数相关研究中的雷达数据通常采用单一的雷达点形式而非更具描述性的射频(RF)张量。

CRUW3D数据集

• 数据采集 * 配备了集成立体摄像机、毫米波雷达和激光雷达等多模态传感器平台。
• 通过软件触发器实现了各类传感器的精确同步。
• 通过对各传感器设备进行精确标定,实现了整体空间坐标的一致性。

• 数据处理 * 通过去畸变、校正和增强对摄像机图像进行优化。

  • 将雷达数据转换为射频张量。
  • 融合激光雷达的点云以实现视野覆盖。

• 数据标注 * 在激光雷达生成的点云数据中进行3D包围盒的绘制。

  • 将三维空间中的物体信息投影至不同传感器坐标系下以实现跨模态验证。
  • 为多目标跟踪系统提供精确的目标标识信息。

• 数据统计 * 包含约 66, 424 帧同步数据。
  其中 19, 424 帧用于训练样本的构建和 13, 224 帧用于测试集的生成。
  标注了 85.3% 的三维包围盒并记录了每条轨迹的基本信息。

基准试验

基于摄像机的3D目标检测 * 使用SMOKE和DD3D作为基准,DD3D的性能更好。

基于摄像头的三维目标追踪 * 该方法在完成三维检测后采用AB³-D MOT算法实现目标追踪。

• AB³-D和AB³-D MOT结合方案具有最佳性能。

基于雷达的目标检测任务中, 该系统以RODNet为基准进行目标检测, 并表现出 marginally inferior于先前的CRUW基准数据集的性能.

摄像机-雷达融合 * 提供一个简单的融合基准测试。

结论

• 数据集的创新之处在于首次提供具有相位信息的雷达RF张量。
• 数据集当前数量有限,计划通过持续努力获取更多数据样本。
• 该数据集将增强摄像机与毫米波雷达之间的融合效果,从而有效提升自动驾驶系统的可靠性和稳定性。