毫米波点云雷达 论文阅读 | 3DRIMR, IPCCC 2021
原文链接 : https://mp.weixin.qq.com/s/6sMztd3zUyEMwURq_87SsQ
Sun Su and Yue Huang Zhuoming et al. published a study in 2021 titled "3DRIMR: A Method Integrating 3D Reconstruction with Imaging Using mmWave Radar Technology Based on Deep Learning" at the IEEE International Performance Computing and Communications Conference (IPCCC).
Abstract
采用基于深度学习的方法，并利用稀疏 raw mmWave雷达强度数据进行处理。
该系统包含两个回对回的GAN模型：
第一个GAN模块通过雷达数据生成二维深度图；
第二个GAN模块则利用这些二维深度图生成三维点云。
- 优点：
- 1 采用CNN来识别局部结构特征 * 2 点云表现出高效性并成功捕捉细节几何特性（这表明输出点云具备这些优势）
1 Introduction
P1: mmWave在浓烟浓雾等救援环境中很有用
P2: 但目前挑战很大，重建效果不佳。本文使用深度学习，取得了良好的效果
P3, P4, P5：介绍本文的方法
-
整体网络:
- 输入：从物体的多个不同视角扫描的原始毫米波雷达 传感信号
- 输出：物体的三维点云 * 包含两个阶段
-
阶段段1： * 输入端：原始雷达数据*
-
输出端：2D深度图像
-
生成器1与判别器1协同训练
-
利用CNN提取三维物体的局部邻域特征
- 阶段2： *
输入：4副不同视角的2D 深度图
作者主张单一雷达在距离分辨率上可能不够理想；因此通过多维度雷达阵列来提升方位分辨率；从而实现对高精度三维物体数据的信息获取
输出：稠密的物体三维点云
生成器2和判别器2联合训练
生成的点云比体素表达更加高效、分辨率更高
P6: 贡献总结
- 1 开发出了一种新型毫米波点云重建网络架构
- 2 构建了一个基于商用雷达实现快速三维重建的新系统架构，并不依赖于慢速扫描技术
- 3 基于稀疏且带噪声的原始雷达数据进行处理
2 Related Work
在FMCW mmWave技术的应用中已取得显著进展
本文的动机 ：
[1]-[3]： 使用mmWave进行成像
此外，在之前的SLAM工作中增加低能见度感知能力 (使用mmWave雷达)
关于3D重建
对 1 ,3的详细介绍：
1: 基于条件GAN生成目标的2D深度图像
✅ 使用俯仰角、方位角多次SAR扫描数据作为输入
本文采用此设计来生成中间结果；此外，在俯仰角中仅采用了两个雷达数据。
3: 没有获得2D深度图像
关于点云重建： * 采用了PointNet结构
* 但使用了GAN来生成点云
3 Background
FMCW 毫米波雷达 sensing and imaging
3D FFT * 生成 3D heatmap or intensity map：x(\phi, \theta, \rho) * 其中每个体素被标记为能量强度。
SAR可以通过在range-cross和俯仰方向上扫描获得 更高的角度分辨率
* 但 高距离分辨率使用普通雷达就能做到毫米波成像本身存在很多问题 * 镜面反射 – 导致稀疏
* 多径效应
3D Reconstruction
- 点云重建的特点 *
具有高分辨率
不需要高内存成本的对象
✅ 有些工作用体素，但是时空复杂度太大
但是不能用CNN，因为点云是无序的
- 无法直接从3D heatmap中提取点云数据
- 极度稀疏
- 然而由于多径效应的存在，在此过程中会产生虚假的点
- 基于上述分析与需求，本研究采用两个GAN模型来进行数据提取工作
4 3DRIMR Architecture
4.1 Overview
- GAN 1 (包括 G_{r2i} 和 D_{r2i}) *
输入：Radar 3D Heatmap m_r (来自视角v)
🚩 输入数据的集合：\left\{m_{r, i} \mid i=1, \ldots, k\right\} ， k表示第k个视角
输出：2D depth image \hat{g_{2d}}
✅ 输出数据的集合：\left\{\hat{g_{2d, i}} \mid i=1, \ldots, k\right\}
GT: g_{2d}
处理流程 * 输入：给定的数据集合为\left\{\hat{g_{2d, i}} \mid i=1,\dots,k\right\}。
- 操作步骤：首先将这些数据分别转换为多个视角下的粗糙点云集合\left\{P_{r,i}\mid i=1,\dots,k\right\}；接着将各视角下的粗糙点云进行整合并整合成一个综合点云P_r；该综合点云包含n个采样点\left\{p_j \mid j=1,\dots,n\right\}。
- 设置参数k = 4
- 输出结果：生成后的综合总点云P_r直接作为第二个GAN模型的输入
GAN 2 (包括 G_{p2p} 和 D_{p2p}) * Input: 多视角稀疏点云P_r
* 输出: 稠密点云 \hat{P_r}
- 注意：P_{r}不仅存在缺失的点还存在错误的点，请您特别关注这一点（相比于仅负责补足缺失部分的功能而言）。
- 本方法中的两种生成对抗网络分别应用于不同的训练阶段（每个生成对抗网络都包含一个生成器G和一个判别器D）。
- 与HawkEye[1]相比，在本文中输入仅包含两个Radar强度图这一关键特征；此外，在输出结果上也存在显著差异：本文方法最终能够生成三维坐标系中的完整点云数据；而HawkEye系统则主要输出二维深度图像。
- 与现有的基于网络的方法[11]相比，在本研究中我们采用了基于Generative Adversarial Network（GAN）的技术，并对存在的错配问题进行了修复。
4.2 Step 1
输入 ：两个不同俯角上雷达数据经3D FFT后的三维雷达heatmap m_r (64 64 256)
* 输入数很少，但分辨率与[1]接近输出 ：2D深度图像
网络： *
Generator: 3D-encoder-2D-decoder network,
✅ 是典型的编码-解码结构
✅ 使用skip connection避免梯度消失
Discriminator: 区分类别输出与真实标签，并将输出样本与目标标签分别编码为独立的一维特征向量序列以判断其是否一致
损失函数 * 生成器的损失：达成了GAN框架下的优化目标；* 判别器的损失：基于预测误差计算得到的均方误差
4.3 Step 2
输入输出均为N*3点云，将输入点云编码为特征向量，再解码成稠密点云
-
Generator :
- 编码器使用PointNet：具有排列不变性和噪声容忍性。同时结合局部特征和全局特征
- 解码器将其拓展为稠密点云
-
Discrim :
- 输入输出点运输量不同
- 通过使用编码器解决该问题
-
损失函数
生成器损失 \mathcal{L}_{\mathbf{G}_{\mathbf{p} 2 \mathbf{p}}}=\mathcal{L}_{G A N}\left(\mathbf{G}_{\mathbf{p} 2 \mathbf{p}}\right)+\lambda_{d_{c f}} \mathcal{L}_{c f}\left(\mathbf{G}_{\mathbf{p} 2 \mathbf{p}}\right)+\lambda_{i o u} \mathcal{L}_{i o u}\left(\mathbf{G}_{\mathbf{p} 2 \mathbf{p}}\right)
✅ Chamfer distance
✅ IoU（Inter over Union）：两个点云集合之间的IoU等于它们共同拥有的点数量与它们联合后的总点数量之比：I o U = \frac{\hat{V}_r \cap V_{\text{true}}}{\hat{V}_r \cup V_{\text{true}} + \epsilon} ⇒ 损失函数对应项为1 - IoU
5 Implementation and Experiments
使用 合成 和 真实数据 进行了实验
5.1 数据集
思路：采集一些数据 + 数据增强 获得更多数据
真实数据获取
使用 IWR6843ISK [4] 传感器和 DCA1000EVM [29] 数据采集卡收集真实的雷达数据
基于定制的滑块水平和垂直滑动传感器执行SAR操作
训练与测试： * 仅仅采用了64×64×256三维数据立方体（全尺寸数据）中的两个样本片段
- 全尺寸数据仅仅作为辅助材料存在
模拟的生成数据
- 生成汽车类三维建模数据 *
- 用于生成高精度点云数据 *
- 每个反射器充当接收来自实际物体表面反射回波的数据源 *
GT数据
对于真实数据： 基于ZED小型摄像头[31]获取；对于生成数据： 利用CAD点云进行投影生成
生成雷达3D heatmap
- 首先对ADC数据实施三维快速傅里叶变换。
- 然后将其转换至笛卡尔坐标系系统中，并与深度相机所匹配。
5.2 模型训练和测试
在两个目标物体场景下进行了实验
- 大型物体（平均尺寸为445厘米×175厘米×158厘米）
- L型箱子（小型物体，尺寸为95厘米×73厘米×59厘米）
5.3 实验结果
- 重建结果
- 消融实验
