无线感知论文速览 | IPSN 2023, Interpersonal Distance Tracking with mmWave Radar and IMUs
注1:本文系“最新论文速览”系列之一,致力于简洁清晰地介绍、解读最新的顶会/顶刊论文
无线感知综述 | IPSN 2023: Interpersonal Distance Tracking Using mmWave Radar and Inertial Measurement Units
Yimin Dai et al., explore the technique of interpersonal distance tracking using millimeter wave radar technology coupled with inertial measurement units (IMUs) in their study presented at the 22nd International Conference on Information Processing in Sensor Networks (IPSN '23). This research was conducted from May 9 to May 12 at the prestigious event held in San Antonio,TX,U.S.A.The paper spans a total of thirteen pages and is accessible via the digital object identifier https://doi.org/10.1145/...
@inproceedings{10.1145/3583120.3586958,
author = {Dai, Yimin and Shuai, Xian and Tan, Rui and Xing, Guoliang},
title = {Interpersonal Distance Tracking with MmWave Radar and IMUs},
year = {2023},
isbn = {9798400701184},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3583120.3586958},
doi = {10.1145/3583120.3586958},
abstract = {Tracking interpersonal distances is essential for real-time social distancing management and ex-post contact tracing to prevent spreads of contagious diseases. Bluetooth neighbor discovery has been employed for such purposes in combating COVID-19, but does not provide satisfactory spatiotemporal resolutions. This paper presents ImmTrack, a system that uses a millimeter wave radar and exploits the inertial measurement data from user-carried smartphones or wearables to track interpersonal distances. By matching the movement traces reconstructed from the radar and inertial data, the pseudo identities of the inertial data can be transferred to the radar sensing results in the global coordinate system. The re-identified, radar-sensed movement trajectories are then used to track interpersonal distances. In a broader sense, ImmTrack is the first system that fuses data from millimeter wave radar and inertial measurement units for simultaneous user tracking and re-identification. Evaluation with up to 27 people in various indoor/outdoor environments shows ImmTrack’s decimeters-seconds spatiotemporal accuracy in contact tracing, which is similar to that of the privacy-intrusive camera surveillance and significantly outperforms the Bluetooth neighbor discovery approach.},
booktitle = {Proceedings of the 22nd International Conference on Information Processing in Sensor Networks},
pages = {123–135},
numpages = {13},
keywords = {mmWave radar, IMU, tracking, association},
location = {San Antonio, TX, USA},
series = {IPSN '23}
}
代码解读
Abstract
- 本文提出了一种名为ImmTrack的系统,用于利用毫米波雷达和用户携带的智能手机或可穿戴设备中的惯性测量单元(IMU)来追踪人际距离 。
- 通过匹配从雷达和IMU数据重构的运动轨迹,IMU数据中的伪标识可以转移到雷达传感结果的全局坐标系统中。
- 重新标识后的雷达传感运动轨迹然后用于追踪人际距离。
- ImmTrack是第一个将毫米波雷达数据和IMU数据融合 以实现同时用户跟踪和重新标识 的系统。
- 实验结果表明,与相机监控相比,ImmTrack实现了类似的用户跟踪精度,但是只需要1/4到1/2的计算开销来处理传感器数据。
- 对于人际距离估计,ImmTrack实现了22cm的平均误差。
- 对于定位1米以内2秒或更长的接触,ImmTrack实现了90%的精度和94%的召回率。
- 与蓝牙邻居发现相比,ImmTrack减少了最多80秒的检测延迟。
- ImmTrack适用于需要额外小心呼吸传播病原体的热点场所。
Introduction
人际距离的追踪对于实时社交管理和事后接触均具有重要意义。
蓝牙设备检测已被用于应对COVID-19疫情,但其时空分辨率仍需进一步提升。
本研究开发了ImmTrack系统,该系统通过毫米波雷达结合用户智能设备中的加速度计数据实现人际距离监测。
毫米波雷达具备以下特点：能够直接获取目标运动速度和深度数据；能够覆盖大范围区域且具有高灵敏度；在成像能力上与相机相比,其输出点云粒度较粗且对个人隐私保护更为严格。
- 关键创新点:主要创新在于通过IMU数据解决毫米波雷达传感中的匿名性问题。
- IMU设备内嵌地包含伪标识符（PID）。
- 两种传感器的数据都提供了大量运动信息。
- 通过匹配运动一致性特征,实现了从IMU到雷达结果中伪标识符（PID）的有效传递。
System Overview
*ImmTrack由两大模块构成: 一部分是利用IMU配合使用进行毫米级波长追踪；另一部分则是通过学习算法实现多模态轨迹关联。
该系统采用IMU辅助的毫米波跟踪技术，在实时性要求较高的应用场景中展现出显著性能。
通过递归卡尔曼滤波器对用户的运动状态进行估计，并将其作为点云聚类任务中的初始化质心点完成运动感知聚类过程。
结合mmClusterNet神经网络模型，在每个数据簇中融合形状信息、运动特征以及基于IMU的数据驱动PID控制特性以提取全面的簇跟踪特征。
最后运用匈牙利算法在簇跟踪特征基础上建立多用户间的跨帧关联关系以实现精确的人群行为分析。
基于学习的跨模态轨迹关联方法如下：
首先将雷达和IMU重构后的轨迹以图像形式呈现（trace map）。
随后通过siamese神经网络从trace map中提取出具有对比性的特征。
最后利用匈牙利算法，在trace map上基于余弦相似度实现轨迹间的关联
IMU-Assisted mmWave Tracking
-
运动感知聚类 :
- 通过递归应用卡尔曼滤波器来估计每个用户的运动质心位置，并将其作为k-means算法初始化参数的基础。
- 引入运动信息特征的引入有助于提升整体聚类效果。
-
跨帧簇跟踪 :
- 通过mmClusterNet神经网络模型融合每个簇的形状、运动特性以及IMU PID数据生成相应的簇跟踪特徵。
- 通过匈牙利算法对簇跟踪特徵进行最优匹配。
- 这些融合后的簇跟蹤特徵能够有效整合形态学、动力学及姿态调节信息,从而显著提升了跨帧关联的稳定性和可靠性。
Learning-based Cross-modality Trajectory Association
-
设计理念 :
-
以轨迹相似度值作为权重系数，在二分图匹配框架中建立雷达与IMU测量结果之间的关联关系。
-
开发学习算法，在高维特征空间中构建匹配模型，并通过该空间的匹配机制完成雷达与IMU数据间的关联过程。
-
trace map生成 :
- 将轨迹编码为图像表示trace map。
-
siamese网络 :
- 从trace map提取比较特征。
- 使用三元组损失进行训练。
-
-
关联 :
- 基于Trace Map特征的余弦相似度构建了相似性矩阵。
- 通过多窗口计算平均相似度来增强算法的稳定性。
- 运用匈牙利算法寻找最优匹配，并验证满足必要条件以确认候选方案的有效性。
Implementation and Evaluation
- 跨模态关联性能 :
- 该系统在跨模态关联性能方面表现优异。
- 该系统在跨模态关联性能方面表现优异。
- 在提升准确性方面表现出色。
- 在跨模态匹配领域显著超越了基于ICP的经典方案。
-
基于空间的距离跟踪与接触追踪：
- 该方法的空间距离跟踪检测误差平均为22厘米。
- 在持续接触（间隔不超过2秒）情况下,该系统可实现90%的检测精度和94%的召回率。
- 相比于蓝牙技术,该方法显著提升了检测延迟的缩减幅度（最多可减少80秒）。
-
计算和通信开销 :
- 相比相机追踪方案,ImmTrack在计算资源消耗方面表现更为高效。
- 在智能设备中部署的ImmTrack编码方案显著低于传统的音频编码bitrate要求。
Conclusion
该系统基于毫米波雷达和惯性测量单元（IMU）达成精确的人际距离追踪。相较于相机监控，该系统能够达到与相机监控相当的追踪精度，但其计算负担更轻。支持厘米级接触追踪精度的同时，在秒级响应上超越蓝牙技术。特别适用于防止空气传播污染的关键区域。