论文速览 | ACM Transactions on Internet of Things, 2024 | mmBox: Harnessing Millimeter-Wave Signals for
基于毫米波段信号的车辆与行人检测支撑架构：mmBox系统的架构设计与实现
1 引言
随着智能交通系统迅速发展
本文介绍了名为mmBox 的创新系统。该系统通过有效地利用毫米波信号，在实现可靠的车辆与行人检测的同时，在低能见度条件下表现出良好的工作状态，并且具备穿透微小障碍物的能力。
2 动机
传统的物体检测方法在室外环境中面临诸多挑战：
- 光学相机受低光照及恶劣天气等因素影响，在这些条件下其性能表现显著降低。
- **激光雷达（LiDAR）**尽管在低光照环境下运行良好，并非全场景适用。然而其高昂的价格使其难以实现大规模应用。
相比之下，毫米波技术 具有以下优势：
可以在低能见度条件下具备有效的工作能力；
该方法具有穿透能力以克服雨滴、雪花及雾气等微小障碍；
该系统实现了厘米级的高度分辨率；
该天线体积较小且便于集成到各种系统中
尽管如此，在毫米波基检测系统方面仍然存在诸多不足之处——它们无法提供物体的形状信息——这促使研究团队开发出了mmBox系统
3 方法
mmBox系统采用两阶段设计 ，主要包括以下模块：
3.1 热图生成模块
该模块负责将原始毫米波信号转换为三种热图：
- 静止/静态距离-方位角热图（... Static RAMap）
- 运动态/动态距离-方位角热图（... Dynamic RAMap）
- 绝对高度/高度-方位角热图（... EAMap）
静态和动态RAMap分别采集静止与移动物体在俯视视角下的信息特征, 而EAMap则呈现前视图范围内的高程数据并标定目标物精确坐标.
3.2 多尺度边界框生成器
这是mmBox的核心模块，主要包括以下组件：
- 一种多源特征融合装置：通过整合优化后的多源信息数据集，在多个场景下训练出高效可靠的物体检测模型。
- 三层级物体检测模型：通过整合优化后的多源信息数据集，在多个场景下训练出高效可靠的物体检测模型。
该模块的设计巧妙地解决了两个主要挑战：
- 硬件约束条件：采用高斯平滑算法将各检测点带能量分布映射至高度-方位角平面，并能有效提供丰富的垂直信息以及精确确定目标的位置。
- 复杂室外工作场景：通过对运动与静止热图进行区分处理，在去除背景干扰的基础上提取更多细节特征以提升目标检测的准确性。
3.3 数学建模
mmBox系统中涉及多个数学模型和算法，以下是一些关键的公式和解释：
交并比（IoU） ：用于衡量预测边界框与真实边界框的重叠程度。
IoU(A, B) = \frac{|A \cap B|}{|A \cup B|}
其中 A 和 B 分别表示预测和真实边界框。
EIoU损失函数 ：用于优化边界框预测。
EIoU = 1 - IoU + \frac{\rho^2(b, b^{gt})}{c^2} + \frac{\rho^2(w, w^{gt})}{(w^c)^2} + \frac{\rho^2(h, h^{gt})}{(h^c)^2}
其中符号 \rho 代表欧几里得距离。变量 b 和 b^{gt} 分别代表预测边界框与真实边界框的中心坐标。参数 w 和 h 分别对应边界框的宽度与高度。上标 c 则标识着能够包裹这两个边界框的最小矩形区域。
二元交叉熵损失（BCE Loss） ：用于分类、置信度和深度值的误差计算。
BCE(x, y) = -[y \log(x) + (1-y) \log(1-x)]
其中 x 是预测值，y 是真实值。
mmBox总损失函数 ：
该损失函数定义为 L_{mmBox} 等于\lambda _{conf}与二分类交叉熵损失函数BCE的乘积，并进一步乘以括号内的内容：首先包含\lambda _{box}与等值评估指标EIoU的乘积项；其次同样包含\lambda _{box}与交并比IOU的乘积项；接着是\lambda _{cls}与分类损失BCE(cls)的乘积项；最后是\lambda _{depth}与深度损失BCE(depth)的乘积项
其中 \lambda 表示各组成部分的权重。
4 实验和结果
研究团队进行了大量系统性的实验来全面验证mmBox系统的性能表现。详细介绍了主要的实验参数及其运行结果。
4.1 数据收集
- 集成毫米波级联雷达与立体相机等多类型硬件组件构建完整的感知系统
- 在主要交通路口部署采集设施获取共计约2.9万份样本数据
- 采用Apollo系统中的BoxLabeling算法实现精准的三维目标检测与识别
4.2 性能指标
研究团队使用了多种指标来评估mmBox的性能：
以下是对原文内容的改写
4.3 主要结果
RAMaps+EAMap模型性能 ：
* AP30: 0.716, AP50: 0.659, AP75: 0.508
* 相比仅使用RAMaps的模型，在AP75上提升了125.8%雾天环境下的性能 ：
-
该系统在烟雾仿真环境中仍能维持0.688的AP50表现。
-
该算法在恶劣的户外环境下展现了卓越的鲁棒性能。
-
该系统在烟雾仿真环境中仍能维持0.688的AP50表现。
-
该算法在恶劣的户外环境下展现了卓越的鲁棒性能。
模型复杂度和延迟 ：
* 参数数量：137.94 M
* FLOPs：53.0 G
* 延迟：27.2 ms
* FPS：36.8这些结果显示出，在常规天气条件下mmBox表现尤为出色，在复杂天气状况下同样保持了高精度水平。此外，这一技术还带来了潜在的实时应用价值
5 不足和未来展望
虽然mmBox获得了令人印象深刻的成就（achievements），但它的一些局限性和未来的改进方向仍然引起了研究团队的关注：
数据处理时间复杂度 ：
-
当前生成热图的处理速度约为700ms，在一定程度上降低了实时性能
- 未来可以通过并行化优化和采用专用硬件配置来提升图像处理效率
性能提升空间 ：
-
扩大数据集规模：当前采用的小数据集规模较小，在适当增加样本数量的情况下有助于提升模型在不同场景下的适用性。
-
提高真实地面标签质量：优化自动化标注流程并借助人工审核手段能够显著提升训练数据的质量。
扩展到3D边界框检测 ：
-
当前系统仅实现了2D边界框的检测，在未来或许可以探索三维检测技术的应用。
-
这将必须克服物体的旋转角度等额外挑战.
多传感器融合 ：
-
尽管mmBox在恶劣天气状况下展现出卓越的效果，在常规天气条件下结合其他传感器（如光学相机）可能会进一步提升性能
- 研究如何高效整合不同传感器的信息是一个值得深入探索的方向
应用场景拓展 ：
-
除了交通监控之外，在涉及全天候且全天时刻的物体检测领域的应用潜力巨大。例如，在安防和自动驾驶等场景中。
-
探索这些新场景将面临新的挑战与机遇并存。
模型轻量化 ：
尽管当前模型在实时性能方面表现尚可, 然而进一步对模型进行压缩与优化则可能使其更适合应用于资源受限的边缘设备
通过应对一系列挑战并深入研究新兴领域, mmBox系统预计在未来的某个阶段实现显著进展, 并将为智能交通系统以及相关技术领域带来深远的影响.
6 总结
该论文所提出的mmBox系统标志着毫米波技术体系在物体检测领域的重大突破。基于精密的设计方案以及高端深度学习算法，在复杂多变的天气环境中显著地改善了传统检测方法的表现。其主要贡献体现在以下几个方面：
新型热图显示机制：基于静态与动态RAMap及EAMap的构建，在捕捉环境中的丰富信息方面展现出显著的效果。
多尺度边界框生成器：开发出一个具有能力有效地融合不同热图特征的深度学习模型，并且实现了极高的物体检测精度。
全天候性能指标：在模拟的复杂天气环境下仍保持优异的检测精度，并验证了系统在恶劣天气条件下的鲁棒性。
低延迟 ：深度学习模型的处理时间仅为27.2ms，为实时应用提供了可能。
通用性
总体而言mmBox系统的研究成果充分突显了毫米波技术和深度学习融合所产生的巨大潜力，并对未来构建更加安全与智能的道路交通系统具有积极意义。在技术创新方面取得了一定的高度成就的同时也为解决现实中的具体问题提供了一种切实可行的方法，并展现了科技创新在推动社会发展方面的重要作用