arxiv 2023 | 4D Millimeter-Wave Radar in Autonomous Driving: A Survey
访问地址：https://mp.weixin.qq.com/s/[mid]Mzg4MjgxMjgyMg==$#rd
arxiv 2023 | 4D Millimeter-Wave Radar in Autonomous Driving: A Survey
毫米波雷达技术综述：arxiv 2023, 基于四维毫米波雷达的自动驾驶系统综述
Abstract
动机 *
4D毫米波雷达有诸多优势：
✅ 能够测量目标的距离、方位角、仰角和速度
✅ 鲁棒性强
问题：尽管4D毫米波雷达研究快速发展
❌ 但目前还缺乏对该主题的调研总结
本文目标 * 填补这一空白
* 促进该领域未来研究
本文内容 *
回顾4D毫米波雷达的理论背景和发展进展
✅ 信号处理流程
✅ 分辨率提升方法
✅ 外参标定过程
✅ 点云生成方法
概述 4D毫米波雷达可用于 环境感知、定位与映射任务中的数据集及处理算法
4D毫米波雷达领域的 未来发展趋势
本文主要贡献 * 首篇系统阐述了4D毫米波雷达在自动驾驶领域的应用
1 INTRODUCTION
背景：毫米波雷达在自动驾驶中 应用前景大
自动驾驶
* 目的:提供安全、便捷、舒适的交通体验
* 环境感知、定位和映射能力至关重要传感器
* 摄像头
* 激光雷达
* 毫米波雷达毫米波雷达优势 * 体积小巧且成本低廉
- 全天候运行状态
- 具备快速测速能力
- 高精度测距性能显著 *
4D毫米波雷达 * 可以测量四类目标信息：距离，方位角，俯仰角，速度
本文动机：
- 尽管4D毫米波雷达快速发展，但几乎没有专门的综述文章
本文贡献
综述文章详细探讨了自动驾驶技术中的4D毫米波雷达系统。该系统通过多维度数据采集与处理实现了精准的空间感知功能，在车辆导航与障碍物规避方面展现出显著优势。研究全面分析了其在实时定位、三维建模以及动态环境适应方面的关键技术与创新应用机制。
章节安排
section 2:
阐述4D毫米波雷达的核心理论
详细说明信号处理流程
规范数据格式要求
提出高效的数据增强算法
-
section 3:
- 概述外参标定算法
-
section 4:
- 总结基于学习的点云生成算法
-
section 5:
- 总结常用的4D毫米波雷达数据集
-
section 6:
-
探讨4D毫米波雷达在感知领域的运用及其潜在价值
-
主要依赖于4D雷达的技术方案及其性能评估
-
多模态方法
-
section 7:
- 介绍4D毫米波雷达在定位和映射中的应用
- 里程计、重定位、SLAM
-
section 8:
- 讨论未来发展趋势
-
section 9: conclusion
-
2 BACKGROUND OF 4D MMWAVE RADARS
2.A Signal Processing Flow
- 步骤一：发送接收信号
- 步骤二：调频率混合处理
- 步骤三：通过ADC采集原始ADC数据
- 步骤四：利用二维FFT算法生成范围-动差图谱
- 步骤五：执行CFAR检测算法
- 步骤六：实施二维AOA估计过程
DBF等
2.B Methods to Improve Resolution
- 硬件层面 *
增加发射-接收对数量
✅ 级联:级联多个雷达芯片增加对数
集成更多天线于一芯片
扩大天线孔径
超材料:控制大小的同时显著提高角分辨率
- 软件层面 * 模拟硬件改进
- 提升信号处理技术
- 采用虚拟孔径成像技术可以显著提高图像的角分辨率。
- 通过新一代基于学习的信号处理算法取代传统的快速傅里叶变换（FFT）等方法实现超分辨率成像。
3. EXTRINSIC CALIBRATION
雷达点云在噪声方面存在严峻挑战, 外参标定面临一定程度上的困难 * 高分辨率一定程度上改善了相关问题, 但现有方法仍存在明显的不足*
传统方法 *
使用角反
✅ 分析感知结果
✅ 与激光雷达、摄像头数据比较
✅ 标定外参
最新方法 *
不需要专门放置角反
✅ 利用雷达运动测量自标定
✅ 或雷达与摄像头对标定
方便实用,但在极端天气下的验证有待实现
4 LEARNING-BASED RADAR POINT CLOUD GENERATION
-
雷达点云出现稀疏现象的主要归因于CFAR算法所带来的信息损失问题
-
现在有多种基于学习的算法开始取代传统的CFAR方法
-
也有一些研究开始直接处理RD图或4D张量数据
-
改善点云质量 同时也推动了感知与定位等 downstream任务性能的提升
-
基于CFAR的方法具有局限性，在实际应用中，
-
实际目标形状多样且占据多个单元区域。
-
这种情况会带来遮挡现象、图像分辨率降低以及数据信息丢失等问题。
- 代表性方法 *
DRD net
✅ 首次将CNN应用于RD图目标检测
✅ 将其形象化为分割任务
基于U-Net、GAN的网络
✅ 使用激光雷达点云作为监督
✅ 生成更少杂点、更密集的真目标点云
5 DATASETS
-
公开数据集对相关算法研究至关重要
- 目前公开的4D雷达数据相对较少
-
代表性数据集 * Astyx
-
首个数据集
-
500帧同步数据,3000标注
-
Coloradar
- 定位和映射研究数据集
- 2小时数据,不同处理形式
-
VoD
- 多传感器数据集,用于3D目标检测
- 8693帧,12万标注
-
TJ4DRadSet
- 7757帧,丰富场景
-
K-Radar
- 目前最大数据集,3.5万帧
- 提供4D雷达张量
- 模块化的网络训练代码
-
-
相比视觉和激光雷达,4D雷达数据量仍不足
6 PERCEPTION APPLICATIONS
介绍在下游感知任务上的应用
6.A 4D-Radar-only Methods
-
源自 基于激光雷达的方法 * ，但仍需针对稀疏性和噪声进行专门的设计。
-
3D检测 * CNN-based:PointPillars等
- Transformer-based:应对稀疏嘈杂数据
-
场景流估计 *
-
将方法从其他模态转移到4D雷达
代表性方法
✅ 利用车辆传感冗余进行跨模态学习, 解决标注难题
6.B Fusion Methods
-
4D雷达可以呈现点云信息 * 并通过与其他设备如摄像头或激光雷达结合实现目标检测功能 * 从而显著提升模型的准确性和抗干扰能力。
- 主要是特征级融合
- 4DRV融合 *
4D雷达提供深度、速度信息弥补摄像头不足
通常将雷达信号转换为图像特征
代表性方法
✅ 生成鸟瞰图和前视图
✅ 动态适配不同模态融合
优于仅摄像头方法
- 4DRL融合 *
激光雷达近距离精确,雷达远距离检测
有望成为低成本高质量技术解决方案
代表性方法
✅ 交互提升两模态特征表达
✅ 多尺度融合
7 LOCALIZATION AND MAPPING APPLICATIONS
在定位和建图方面的应用
7.A Odometry
-
在SLAM体系中,定位是核心内容
-
毫米波雷达4D技术的研究范围广 * 但由于其稀疏性和噪声特性的影响,通常需要结合IMU进行辅助处理
-
代表性方法 * EKF框架 * 融合雷达点云速度估计和IMU
-
实现雷达惯性测距
-
基于学习 * CNN和RNN特征提取和融合
- 输出6自由度测距
-
-
-
存在的问题 * 在处理大规模环境时可能会遇到困难
- 曼哈顿世界假设可能导致适用性受限
7.B Relocalization
-
基于精确度高的实时定位技术
-
尤其在闭环检测阶段 * 雷达点云噪声和稀疏数据的影响需通过重定位技术进行优化处理
- 代表性方法 * 数据增强
-
融合多帧、删除运动目标
-
提取每个点的特征
-
将当前扫描与全局地图比较
- 实现重定位
-
- 代表性方法 * 数据增强
7.C SLAM
-
Odometry + Relocalization 是SLAM 中的重要组成部分
-
当前研究领域中对基于 4D 毫米波雷达的 SLAM 技术展开了一系列深入探讨 * 基于迭代扩展卡尔曼滤波器（Iterative Extended Kalman Filter, IEFK）的一种新型 4D 毫米波雷达点云 SLAM 算法
-
一种新型基于激光雷达（LiDAR）辅助的毫米波 SLAM 数据处理系统
- 在极端环境下也可工作
8 FUTURE TRENDS
-
点云增强 * 提高点云质量
- 基于学习的方法替代CFAR
-
算法重构 * 从其他模态迁移的算法难以达到预期效果
-
需要关注4D雷达特性
-
利用更原始数据 * 原始ADC、RD图、4D张量
- 实时性和信息利用是挑战
-
数据集扩充 * 更多包含4D雷达的数据集
- 丰富数据格式和场景
-
9 CONCLUSION
- 本文对4D毫米波雷达在自动驾驶中的应用进行了综述；具体涵盖以下内容：*
- 具体涵盖以下内容：*
- 首先是对信号处理流程的详细描述；*
- 然后是对提高分辨率的具体方法；*
- 接着是对外参标定过程的说明；*
- 后面介绍了基于学习机制的点云生成方法；*
- 最后系统性地总结了相关数据集；*
- 在环境感知及定位与建模任务中所采用的关键算法介绍；*
- 最后探讨了未来可能的发展方向
首篇系统综述 4D毫米波雷达在自动驾驶领域的应用