论文速览 | SIGGRAPH 2024 | Radar fields: Frequency-space neural scene representations for FMCW radar | 基
论文速览 | SIGGRAPH 2024 | Radar fields: Frequency-space neural scene representations for FMCW radar | 基于频域的FMCW雷达神经场景表示
论文链接: https://dl.acm.org/doi/10.1145/3641519.3657510
github: https://github.com/princeton-computational-imaging/RadarFields
1 引言
随着现代自动驾驶技术和机器人技术的快速发展
雷达传感器通常运行在77GHz频段，在探测金属物体方面展现出卓越的能力同时具备抗恶劣天气的能力
由于工作频率限制使得其难以适应复杂的环境变化
- 雷达在水平或垂直方向上的分辨率有限
- 离散目标的数量在光学传感器中更为稀少
- 许多常见的雷达传感器是平面式的，并不具备垂直分辨能力
- 雷达对于反射物体的高度灵敏度导致基于角度的角度依赖型伪影难以与被占用地域区分清楚
这些挑战削弱了现有技术与前向模型在基于雷达数据重建场景时的表现。
2 动机 (关键创新和核心贡献)
针对上述挑战问题，本文提出了一种名为Radar Fields的神经场景重建方法，基于主动雷达成像设计的专门方法。该方法的主要创新点及其贡献体现在：
基于频域的学习场景表示 ：通过不依赖于处理后雷达数据细节精度和减少实体渲染所需的计算资源来实现。
该系统通过融合多维度数据实现了精准定位功能
创新算法
高精度定位结果
隐式神经几何和反射模型：Incorporates physics-driven sensor models and implicit neural geometry with reflection-based models, directly synthesizing original radar measurements and calculating the occupancy rate of the scene.
非体渲染技术的优化方案能够直接拟合原始频域雷达数据
新的汽车雷达数据集 ：开发出了一种全新的汽车雷达捕获模块，并通过系统性地评估其在野外场景中的三维重建模型构建能力以及多角度合成效果表现。
3 方法
3.1 雷达信号形成模型
FMCW雷达发射一种连续的射频信号，在其频率随时间发生改变时通常呈现锯齿状调制并采用' chirp' 模式进行工作。假设采用锯齿状调制方案，在这种情况下发射信号的频率 f_τ 随时间 t 按线性关系发生变化
f_τ(t) = ω + θ(t), 其中 θ(t) = 2Δf · mod(\frac{t}{T_s}, 1)
这里，ω 是恒定的载波频率，θ(t) 是周期为 T_s 、半幅值为 Δf 的周期性锯齿函数。
当 chirp 信号自物体发射并经反射返回传感器时, 由于传播距离引入的时间延迟所导致的发射波形 f_τ 和接收波形 f_r 之间的相位偏移会产生频率差. 对于单一物体而言:
f_r(t) = ω + θ(t - t_d), 其中 t_d = \frac{2R}{c}
这里，t_d 是光从距离 R 处的物体反射并返回雷达的双程时间延迟。
利用混频器与低通滤波器对这两个信号进行处理后, 通过计算它们的瞬时频率值与相位差异, 得到一系列结果数据。这些数据可被视作一种新的信号形式存在, 其中这种新信号被称为中间频差（IF）波形, 其对应的参数分别为 f_{IF} 和 \phi , 即等于所测得的结果。
f_{IF}(t) = f_τ(t) - f_r(t) = θ(t) - θ(t - t_d)
在实际应用中, 通常能够检测到多个物体, 这表明IF信号是由多种不同频率的正弦波叠加而成, 每个正弦波对应于各自的目标距离及其对应的f_r(t). 随后利用快速傅里叶变换(FFT), 我们可以确定任何给定距离R_b处是否存在可观察的目标:
P_r(b) = \sum_{n=0}^{N_b-1} IF(n) · e^{-i2πbn/N_b}, 其中 b = f_{IF_b}
在本部分中，IF表示IF波形序列的时域形式（即时域IF），而N_b代表信号被分解为若干个频段的数量，在频段b中对应的中心频率为f_{IF_b}的不同音频特征，并通过下述公式与接收端的测距参数相联系：
R_b = \frac{f_{IF_b}c T_s}{4Δf}
3.2 隐式神经场表示
Radar Fields通过训练隐式神经网络来生成二维雷达测量数据 P_r \in \mathbb{R}^{N_φ × N_b} ，其中 N_b 表示距离bin的数量而 N_φ 则代表方位角的数量。每个测量网格单元都会被模型用来预测对应的雷达截面值 σ ∈ ℝ 。该值 σ 可被分解为两部分：投影截面面积 α ∈ ℝ（表示场景的占用情况）以及与方向相关的反射率乘积 ργ ∈ ℝ（表示场景的反射特性）。
该模型采用两个神经场f_α与f_{ργ}来重构真实的地面FFT数据；这些场均基于嵌入于f_χ的空间信息进行构建。具体而言，在三维空间中取一点x ∈ ℝ³，并设定观察方向d ∈ ℝ³，则整个场景的分解过程可表示为：
f_χ : \{H(x)\} \rightarrow \{χ\} 特征嵌入
f_α : \{χ\} \rightarrow \{α\} 占用率
f_ργ : \{S(d), χ\} \rightarrow \{ργ\} 反射率
其中 H 和 S 分别是多分辨率哈希编码和球谐位置编码。
3.3 基于物理的重要性采样
为了模仿雷达波束的传播特性以及天线方向性增强模式，Radar Fields采用了基于物理规律的重要采样技术。具体而言：
均匀分布在每个波束中心周围区域内的椭球体内均匀分布额外的射线样本。
考虑方位角和仰角辐射模式 A(a) 和 E(e) 将角度偏移映射至信号增益。
对于每个波束中心位置，在其周围采样 S-1 个额外的射线样本以构建集合 S = \{s_1, s_2, ..., s_S\}。
每个超级采样射线由其对应的波束中心位置的角度偏移量 a_i 和仰角偏移量 e_i 构成。
基于传感器方向性特性对这些预测结果进行加权平均计算得到最终的雷达截面预测值 \hat{σ}：
\hat{σ} = \sum_{i=1}^{S} w_i \cdot \hat{σ}_i
其中 \hat{σ}_i = \hat{α}_i · \hat{ργ}_i
\hat{σ} = \frac{\sum_{i=1}^S σ_i · A(s_i[0]) · E(s_i[1])}{\sum_{i=1}^S A(s_i[0]) · E(s_i[1])}
3.4 训练
Radar Fields的训练目标是使总损失 L 最小化，并涉及三个具体项：重建FFT相关的损失 L_W、基于占用率的正则化损失 L_R 和 L_P。
L = η_W L_W + η_R L_R + η_P L_P
其中：
L_W = \frac{1}{N_φN_b} \sum_{φ,b} \left|\frac{P_t · G^2 · (\hat{α}_{φ,b} · \hat{ργ}_{φ,b})}{(4π)^3R_b^4} - P_{r_{φ,b}}\right|
L_R = \frac{1}{BatchSize} \sum_{φ,b} O(P_r)_{φ,b} \left|\log(O(P_r)_{φ,b}) - \log(\hat{α}_{φ,b})\right|
L_P = std(\hat{α}|_{O(P_r)>0.5}) + std(\hat{α}|_{O(P_r)<0.5})
这里，O(P_r) 是从原始信号估计的占用率概率。
为了解决模型过拟合噪声数据并避免陷入局部最小值的问题，在优化过程中采用了分阶段优化策略，并通过逐步提升分辨率来提取网格特征。
4 实验和结果
4.1 数据集
本研究采用了新型多模态数据集，并包含原始雷达、LiDAR、RGB摄像头以及GNSS设备的数据。该数据集涵盖了丰富多样的场景，并涵盖不同天气状况下的城市街道和停车场区域。
4.2 场景重建
实验结果表明，Radar Fields在场景重建方面表现优异：
- 高密度重构：与基于数字信号处理（DSP）的方法生成的雷达点云相比，在Radar Fields系统中实现了更高的空间分辨率和更为细致的环境细节呈现。
- 车辆识别：系统成功实现了对测试场域内所有车辆的精确识别，在自动驾驶技术开发中具有重要意义。
- 三维重构：尽管输入数据仅限于二维雷达扫描结果，在算法的支持下仍能通过模拟物理规律下的射线重要性采样技术实现三维场景的有效构建。
在定量评估中，在鸟瞰图(BEV)中的占用率重建方面表现更为出色的是基于雷达域的方法，在Chamfer距离（CD）和相对Chamfer距离（RCD）指标上均显著优于传统网格映射方法。
4.3 恶劣天气条件下的表现
在雾天等恶劣天气条件下，Radar Fields表现出色：
- 稳定性：在极端天气及光照条件下, 重建质量得以维持稳定.
- 优势：相比依赖LiDAR或相机输入的方法而言,Radar Fields能够可靠地恢复二维占用地貌与三维几何信息.
- 细节保留：即便是在浓雾弥漫的情况下, 建筑物轮廓、钢制道路护栏以及车辆等元素仍可清晰辨识.
4.4 新视角雷达合成
Radar Fields不仅能重建场景，还能在新视角合成原始雷达返回：
- 该方法对镜像高光及射线饱和等反射伪影具有捕捉能力。
- 定量评估表明，在RMSE与PSNR两个指标上均表现出良好的性能。
5 不足和未来展望
虽然Radar Fields在多个方面表现优异，但同时也存在一些局限性及进一步优化的空间。这些方面的具体表现可以通过技术细节来进一步提升。
跨模态融合：未来值得探索的是通过整合雷达信号与其他多种模态的数据来进行信息融合，并以此克服雷达固有的角分辨率局限性。
实时性能 ：目前采用的方法在计算复杂度方面存在较高水平，在未来的研发中将致力于优化算法效率以适应现代 realtime 应用的要求。
在大型规模的场景下：尽管该方法在中等规模场景中表现优异，但面对更大范围的场景重建时，则可能需要采取一系列优化措施来提升其性能。
变化多端的场景应对 ：现有技术大多集中于静态环境的处理。有效应对动态物体与环境变化的方向值得深入研究。
多种雷达系统兼容性研究：探索将其拓展至不同类型的雷达系统配置以增强通用性。
语义理解：通过将场景重构与语义分割等高级任务融合，并实现更丰富的场景理解。
6 总结
本文提出的Radar Fields方法开创了雷达数据神经场景重建领域的全新研究路径。通过基于频域的场景表征学习机制，在融合物理规律指导下的三维坐标系构建与反射特性建模的基础上实现二维雷达扫描数据的有效解码，在此过程中实现了高质量三维场景信息的成功重构
本文提出的Radar Fields方法开创了雷达数据神经场景重建领域的全新研究路径
该方法在多个方面展现了优势：
- 密集重建技术：能够生成比传统方法更具密度和细节的场景数据。
- 尽管输入数据是二维雷达扫描图像（...），但该系统具备还原三维场景的能力。
3 系统在恶劣天气如雾天等条件下展现出卓越性能，并显著优于基于LiDAR技术和相机方案。
4 该系统能够从不同角度合成高质量的原始雷达反射数据。
Radar Fields不仅取得了显著进展，并非仅限于雷达感知技术的发展；反而还为自动驾驶与机器人技术在复杂环境下的应用开拓了新的途径。未来的研究方向应着重于更深入的优化策略与跨领域整合方法。这一创新方法不仅展示了巨大的潜力，并且有望在未来实现更为广泛的应用与推广。