论文速览 | Arxiv 2023 | DREAM-PCD: Deep Reconstruction and Enhancement of mmWave Radar Pointcloud
论文速览 | Arxiv 2023 | DREAM-PCD: Deep Reconstruction and Enhancement of mmWave Radar Pointcloud
1 引言
毫米波(mmWave)雷达点云 以其独特的优势如抗烟雾、低照度的鲁棒性 ,为3D感知带来了新的机遇与挑战。然而,目前mmWave雷达点云重建面临着三大挑战 :1)由于镜面反射导致的信息丢失和稀疏性;2)低角度分辨率;3)强烈的多径和噪声干扰 。现有方法难以同时解决这三大难题。
2 动机与贡献
针对以上挑战,本文提出了DREAM-PCD框架 ,巧妙地结合信号处理与深度学习方法,通过三大模块来同时应对上述三大难题 :
- 非相干累积(NCA)模块 :通过多帧非相干累积生成密集点云P_{NCA},缓解由镜面反射导致的信息丢失和稀疏性
- 合成孔径累积(SAA)模块 :通过合成孔径原理提高雷达孔径,生成高角分辨率点云P_{SAA}
- Real-Denoise多帧网络(RDM) :以P_{SAA}为输入,通过因果多帧机制和"真实-去噪"策略,有效去除多径效应和噪声干扰
此外,本文还构建了RadarEyes数据集 ,包含超过100万帧mmWave室内数据,为mmWave感知研究提供了宝贵资源。
3 方法
DREAM-PCD框架的核心在于巧妙结合传统信号处理的可解释性和数据驱动网络的表征能力,通过三大模块来解决低成本mmWave雷达点云重建中的主要难题。
3.1 非相干累积(NCA)
对N帧mmWave雷达数据进行非相干叠加:
P_{NCA} = \bigcup_{i=1}^{N} \{ \mathcal{T}_{(W_i)}(P_i)\}
其中,\mathcal{T}_{(W_i)}(\cdot)表示根据估计的位姿W_i进行坐标变换,P_i为第i帧mmWave点云。通过NCA,从不同视角丰富了场景信息,缓解了由于镜面反射导致的稀疏性问题。
3.2 合成孔径累积(SAA)
通过视场(FoV)滤波、重采样和反投影,利用合成孔径原理提高雷达孔径:
P_{SAA} = \text{BP} (\text{Resample} (\text{Filter}_{FoV}(P_{NCA})))
其中,\text{Filter}_{FoV}(\cdot)表示FoV滤波,\text{Resample}(\cdot)表示重采样,\text{BP}(\cdot)代表反投影。SAA生成了高角分辨率合成孔径点云P_{SAA}。
3.3 Real-Denoise多帧网络(RDM)
将P_{SAA}作为网络\Theta的输入,生成高质量点云P_{hq}:
P_{hq} = \Theta(P_{SAA}) = \Theta(\bigcup_{j=1}^{M}\{P_{SAA}^{j}\})
其中,P_{SAA}^{j}表示第j帧SAA点云,M为因果多帧机制下的帧数。RDM网络的亮点在于:1)因果多帧机制充分利用时序信息;2)"真实-去噪"策略将重建任务转化为逐点二分类,大幅提升了模型泛化能力 。
4 实验与结果
为了全面评估DREAM-PCD框架的有效性,我们在RadarEyes数据集上进行了一系列实验。RadarEyes包含了来自300个室内场景和10个室外场景的超过100万帧mmWave雷达数据,是目前最大的室内mmWave数据集。我们采用标准的点云评估指标如CD(Chamfer Distance)、EMD(Earth Mover’s Distance)、F-score 等来衡量重建质量。
4.1 定量结果
我们将DREAM-PCD与现有的mmWave点云重建方法RadarHD[20]和RPDNet[21]进行了比较。如表1所示,DREAM-PCD在所有评估指标上都显著优于现有方法。具体而言:
- 在CD指标上,DREAM-PCD比RadarHD和RPDNet分别降低了42.7%和35.1% ,表明DREAM-PCD生成的点云与groundtruth更加接近
- 在EMD指标上,DREAM-PCD比RadarHD和RPDNet分别降低了37.5%和29.8% ,说明DREAM-PCD的点云分布更加均匀
- 在F-score上,DREAM-PCD比RadarHD提升了8.2% ,比RPDNet提升了5.7% ,证明DREAM-PCD的点云完整性更高
4.2 定性结果
图2展示了DREAM-PCD在不同场景下的定性结果。可以看出,RadarHD和RPDNet的重建结果存在着严重的信息丢失、稀疏不连续、远处目标缺失 等问题。相比之下,DREAM-PCD利用NCA和SAA生成了更加密集、完整、高分辨率 的点云,通过RDM网络进一步去除了多径效应和噪声干扰 ,最终得到了与groundtruth LiDAR点云十分接近的高质量mmWave点云。
4.3 泛化性能
为验证DREAM-PCD的泛化能力,我们在室外数据集、不同雷达参数设置下测试了训练好的模型。结果表明:
- 尽管训练数据仅包含室内场景,但DREAM-PCD在室外数据集上依然取得了优于其他方法的泛化性能
- 在不同帧率、发射功率等雷达参数设置下,DREAM-PCD表现出了稳健的泛化能力,CD等指标几乎不受影响
这主要归功于我们的**"真实-去噪"策略以及RDM网络的强大噪声建模能力** ,使得模型专注于学习噪声特征而非场景先验,大幅提升了泛化性能。
4.4 消融实验
我们进一步通过消融实验验证了DREAM-PCD各模块的有效性:
- 单独使用NCA相比原始点云,F-score提升了7.1% ,说明NCA有效缓解了镜面反射导致的稀疏性问题
- 单独使用SAA相比NCA,CD降低了10.5% ,证明SAA显著提高了点云的角分辨率
- RDM网络相比传统回归方法,EMD降低了27.3% ,F-score提升了4.8% ,充分展现了"真实-去噪"策略的优越性
5 不足与展望
尽管DREAM-PCD取得了令人瞩目的成果,但仍存在一些不足与改进空间 :
- 多径效应的物理机制有待进一步探索,以实现更彻底的多径抑制
- 合成孔径方法在复杂环境下的鲁棒性有待加强
- 更大规模、多样化的mmWave数据集建设是未来重要方向
6 总结
总之,DREAM-PCD框架巧妙结合传统方法的可解释性和深度学习的强大表征能力,通过NCA、SAA与RDM三大模块,首次同时解决了mmWave雷达点云重建中的三大难题,实现了低成本雷达下的高质量点云重建 。大量实验结果表明,DREAM-PCD在重建质量和泛化性能上显著优于现有方法。相信DREAM-PCD及RadarEyes数据集的开源,将极大推动未来mmWave感知在现实场景中的广泛应用。让我们期待mmWave雷达点云重建的新时代到来!