论文速览 | Mobicom, 2024 | Enabling Visual Recognition at Radio Frequency | 通过无线电频率实现视觉识别
论文摘要 | Mobicom期刊, 2024年版 | 借助无线电频谱实现视觉感知的提升 | 该研究借助无线电频谱技术展开视觉感知研究
随着科技的迅速发展，在视觉识别技术已成为许多应用的基础前提下，
传统光学传感器在复杂天气状况下效果欠佳，
为此，
我们开发了一种名为PanoRadar的新系统，
该系统通过毫米波雷达技术实现了与LiDAR相当或更高的无线电频率成像效果，
并在复杂天气条件下仍能保持出色表现。
本文将深入分析这篇论文的关键内容、研究动机、采用的方法以及实验结果等部分，
同时探讨其存在的不足之处，
最后展望未来可能的发展方向。
1 引言
研究背景：
- 机器人及自主系统 在交通、应急救援、建筑工程、医疗支持以及仓储管理等多个领域得到了广泛应用。
- RF信号的优势 ：相较于传统光学传感器，在遭遇尘埃、雾霾、烟雾以及光照不足等情况时展现出了更强的鲁棒性。
- RF传感器的局限 ：由于天线数量受限，在此限制下RF传感器的整体分辨率无法达到理想状态而导致图像模糊，并因而难以捕捉细节信息。
2 动机
该研究的主要驱动力在于增强RF成像的空间分辨率 ，使其达到甚至超越LiDAR的技术水平，在复杂环境场景中实现精准的视觉感知。具体而言，本研究的主要动因包括：
- 提升RF信号采集技术的灵敏度；
- 优化图像重构算法以减少计算开销；
- 探索新型信号处理方法以提升信噪比。
- 提高图像清晰度 ：通过旋转单芯片毫米波雷达并协同应用信号处理 和机器学习 算法技术体系，在三维空间中构建高精度三维成像数据。
- 针对机器人动态定位需求 ，精确计算机器人运动参数，并结合相控阵技术构建高质量 receive array 实现天线的相干成像。
- 优化垂直方向图像锐度 ：基于学习算法对二维空间进行动态划分，在保证计算效率的同时显著提升了垂直方向图像锐度。
- 针对射频信号传播特性设计创新方案 ：针对射频信号传播特性设计创新方案，在复杂环境场景下有效抑制多径效应的影响，并实现了方位角与多普勒效应变化下的稳定接收性能。
3 方法
PanoRadar 系统的设计包括以下几个关键组件：
3.1 圆柱阵列成像
PanoRadar基于单芯片毫米波雷达的旋转构建了圆柱型合成孔径阵列... ，从而实现了方位角分辨率的显著提高。具体公式如下：
\mathbf{p}_a(t) = (r \cos(\omega t), r \sin(\omega t), h_a)
其中r代表旋转半径这一参数，在系统设计中被设定为关键指标之一；\omega则表示系统运行时的角速度参数，在动态响应分析中起着重要作用；而h_a则是用于衡量天线垂直方向上的安装高度，在空间信道建模中具有决定性影响。经过对各个天线所接收的信号进行有相位控制的叠加处理后，在接收端实现了对目标信号的有效聚焦，并通过精确调节相邻天线间的相对相位差值来优化整体覆盖范围和减少边缘失真现象的发生程度。
函数B(\mathbf{d})被表示为\sum_{a,t} S_{a,t}与指数项\exp\left(j \frac{2\pi}{\lambda}\mathbf{d}\cdot\mathbf{p}_a(t)\right)的乘积。
其中，\lambda为波长，S_{a,t}为天线信号。
3.2 运动估计与补偿
为了在机器人运行过程中维持图像清晰度，PanoRadar开发了一种运动估计算法 ，通过多普勒效应原理分析机器人精确计算其移动速度与方向
d'(t, t_c) \approx r \omega t (\omega t_c - \theta_n) - v t \cos(\theta_v - \theta_n)
基于霍夫变换检测线性特征，并采用RANSAC算法进行稳健估计，从而实现精确的速度和方向估计。
3.3 垂直分辨率增强
基于配置受限的垂直天线阵列设计，PanoRadar通过先进的机器学习算法实现了对垂直分辨率的显著提升。具体实现途径涉及...
- 基于高频度方位角与远距离分辨率 ：在对室内环境的低秩结构和独特属性进行深度学习后，在垂直方向上实现空间信息插值。
- 构建深度学习模型 ：通过将三维阵列数据分解为二维图像的通道集合，并结合二维卷积神经网络完成特征提取与分类。
3.4 视觉识别任务
PanoRadar通过增强的RF成像实现多种视觉识别任务 ，包括：
- 表面法线估计 ：该表面法线估计过程主要通过添加一个卷积层来进行预测。
- 语义分割 ：基于预训练ResNet-101的骨干网络架构设计了一种语义分割算法，并实现了对11种不同语义类别的识别。
- 目标检测 ：在目标检测任务中，本系统采用了特征金字塔网络（FPN）与Faster R-CNN算法的结合方案。
- 人体定位 ：基于目标检测的结果信息，在推导人体方位角和距离方面具有良好的性能表现。
4 实验和结果
PanoRadar 在12栋不同建筑中进行测试，结果如下：
4.1 运动估计精度
当机器人运行的最大速度设定为0.6米每秒时，在此条件下使用PanoRadar进行测试后发现：其速度估计的均方根误差（RMSE）值达到8.48毫米每秒；方位估计的均方根误差（RMSE）值则达到了1.09度。无论是在何种环境条件下进行测试与评估工作时发现：该系统的运动状态估计精度始终保持不变
4.2 成像性能
经过实验验证，在PanoRadar系统的应用下（...），实现了空间分布预测误差的精确测量。具体而言，在测试样本中发现，在所有测试样本中均达到了较高的检测精度。其中90%的空间分布预测误差低于31.98厘米。相较于传统基于信号处理的方法（...），运用机器学习技术可显著提高成像精度与空间分辨能力。
4.3 视觉识别性能
- 表面法向量估计：该方法在平均绝对误差（MAE）方面表现出色，数值表现分别为8.83°；同时，在中位数误差（MeAE）方面也取得了显著成果。
- 语义分割性能评估：通过计算得到的分割性能指标显示，在mIoU方面达到48.00%，而pAcc则达到了86.33%。
- 目标检测性能评估：基于所设计算法的AP30指标达到了52.33%，同时AP50指标也达到了较为理想的38.30%水平。
- 人体姿态估计：该系统在距离估计方面具有较高的准确性（12.24 cm），并且方位角预测结果同样令人满意（1.47°）。
4.4 全景学习效果
该研究基于全景学习技术，在目标检测任务中取得了显著成效。通过该方法，在跨越图像边界的情景下实现了目标检测效率的有效提升，并成功缓解了传统学习方法在目标检测性能上的局限性。
5 不足和未来展望
尽管PanoRadar 在RF成像领域取得了显著进展，但仍存在一些不足之处：
- 仅限于室内环境：目前的研究主要集中在室内机器人领域，在此基础上未来可能扩展至仓库、购物中心甚至自动驾驶场景。
- 若采用配备更多天线的雷达，则可进一步提高垂直分辨率；或者，在保持相同分辨率的前提下应用更为精简的机器学习模型。
- 现阶段系统通常忽略了多径反射现象；然而，在未来的改进中则有可能探索利用多径反射特性以实现"透视"效果。
6 总结
PanoRadar 基于先进的设计理念并结合深度学习算法，在复杂环境中的探测能力尤为突出。其RF成像性能已逼近LiDAR水平，并展现出卓越的鲁棒性。该系统不仅进一步优化了RF成像精度，在多个维度上实现了性能突破，并拓展了其在视觉识别领域的应用潜力。展望未来的研究与技术发展，我们将这一创新成果推广至更多应用场景中去探索未知边界。