无线感知论文速览 | SenSys 2023, 使用商用WiFi设备构建手部骨架 Construct 3D Hand Skeleton with Commercial WiFi

注1: 本文属于"最新论文速览"系列中的一份综述性文章,旨在为读者提供简洁清晰的综述性文章来介绍和解读最新的顶会与顶刊论文。

无线感知论文速览 | SenSys 2023, 基于商用 WiFi 设备搭建手部骨架 Using Commercial WiFi Modules to Assemble a 3D Hand Skeleton

Sijie Ji及其合著者Xuanye Zhang、Yuanqing Zheng和Mo Li在2023年完成了名为《基于商业Wi-Fi构建三维手骨架构》的研究工作。
该研究将在第十九届ACM国际嵌入式网络与传感器系统会议上（SenSys ’23）进行展示。
会议将于于2023年11月12日至17日在土耳其伊斯坦布尔举行。
该研究由ACM在其总部所在地土耳其伊斯坦布尔进行。
该论文共包含有十三页内容并可从https://wands.sg/publications/full_list/papers/SenSys_23_1.pdf下载。

摘要

• 本文开发了HandFi系统,这是一种基于普通 WiFi 设备构建手部骨骼的新一代技术。
• 与之前的手势识别系统相比,该系统主要依赖于预定义手势进行模式匹配的方式不同,HANDFI通过构建手部骨骼能够支持多种基于 WiFi 的手势应用。
• 从 WiFi 信号提取骨骼存在难度，并且手掌作为相对手指的主要反射体增加了这一挑战。
• HandFi创新性地设计了一种多任务学习神经网络架构，并结合一系列自定义损失函数优化模型性能。
• 在离线训练阶段,HandFi采用了 WiFi 信号作为输入数据，并利用 Leap Motion 技术进行监督学习。
• 在线场景下,HandFi只需依赖于普通的商用 WiFi 即可实时生成二维手掩码并完成三维手势捕捉。

关键词: 无线传感,多任务学习,3D手部姿态,手势识别

简介

• 手势识别在人机交互中发挥关键作用，并具备广泛的适用性。
• 当前系统的局限主要体现在以下几点：可穿戴设备在精确度上表现良好但在实际使用中显得笨拙；声学解决方案在稳定性方面容易受到外界环境因素的干扰；而基于计算机视觉的技术则可能导致用户隐私信息泄露。
• WiFi技术的优势在于具备更广泛的感知能力、确保数据安全以及对光线变化具有较强的适应能力。
• 当前WiFi手势识别系统的局限在于需要预先定义特定的手势并在有限的手势库中进行匹配。
• HandFi的目标是获取与计算机视觉技术相似的手部形态特征及其骨骼结构信息。

方法

• HandFi整合了创新性多任务学习架构HandNet。
• 通过引入两个相关联的任务模块——掩码生成与姿态估计——共享编码器资源。
• 押mask模块不仅提供了密集的监督信号,还能平衡手掌部位与手指部位的信息处理。
• 编码器模块保留了CSI信号的相位信息,并能够提取不同尺度的空间特征。
• 两个相关的解码器模块能够从共享特征中重建出独立的掩mask预测结果与姿态估计结果。
• 为了提升姿态估计性能,在重建过程中设计了一系列符号约束性的损失函数。
• 通过域泛化技术训练模型参数时，默认假设所学特征在不同领域中具有位置不变性。

关键点:

• 手部建模: 采用21个重要点作为建模依据，在掌心设置基准点，并将骨骼按照手指分类处理。
• RF信号嵌入: 该方法能够保持CSI的幅度与相位数据特性。
• 多任务学习: 在训练过程中，掩码生成模块与姿态估计模块共同使用编码器提取特征。
• 域泛化: 该模型设计能够实现空间位置恒定特征提取，并具备适应环境变化的能力。

评估

• 手指追踪法（HandFi）达到了91%的覆盖度；其姿态关键点精度为2.07厘米。
  • 手指追踪法（HandFi）具备多种下游应用场景；其性能显著优于现有WiFi系统。
  • 手指追踪法（HandFi）经过多维度测试；涵盖不同传感距离的手势位置、操作者以及环境干扰情况。
  • 手指追踪法（HandFi）可在复杂环境中仍能稳定运行；同时具备更大的视野；同时具备广泛的传感距离。

讨论

• 当前HandFi设备必须固定发送机位置，并且距离大约为1米。当距离超过1米时会影响性能。
• HandFi目前只能处理单手操作。为了支持更多互动（如两个手或多用户），需要进行功能扩展。
• 未来工作包括：通过数据增强提升模型的适用性；采用多天线技术实现用户间的反射协作。

结论

• HandFi通过现有无线网络设备捕捉或生成手部形状和骨架，并开发出多任务学习网络HandNet及其域泛化技术。
• 该系统在多个领域获得了成功评估，并为各种下游应用提供了基础以推动开发。
• 该系统能够显著提升残障人士的便利性和无障碍性。