论文速览 TRS 2024 | 基于GAN的mmWave雷达无限制词汇窃听 | Towards Unconstrained Vocabulary Eavesdropping With mmWave R

无线感知与雷达成像技术最新进展<实时更新>： 链接地址
注1:本系列文章致力于系统且全面地阐述"无线感知论文速递"主题(包括但不限于 Nature/Science及其子刊; MobiCom, SigCom, MobiSys, NSDI, SenSys, Ubicomp; JSAC等期刊及雷达学报等平台)的核心进展与研究突破。
本次推送的研究成果来自IEEE Transactions on Mobile Computing期刊2024年期发表的一篇题为《基于GAN的毫米波雷达无词典访问攻击》的文章（Achieving ultra-low latency and high throughput via GAN-based mmWave radar interference）
文章DOI编号为10.1109/TMC.2022.3226690

论文速览 TRS 2024 | 利用GAN生成的毫米波雷达实现任意词汇的无码本攻击 | 探索毫米波雷达通过GAN进行无码本攻击的可能性

本研究基于毫米波雷达技术以及生成对抗网络（GAN）模型，开发了一种能够应对任意大小的语音窃听攻击的方法。实验结果表明该方法在实际应用中表现优异，并对未来相关领域的研究提供了重要的理论依据。

1 引言

随着语音助手、视频会议等音频通信系统的日益普及,音频信息的安全隐私风险也越来越大。目前的音频窃听方法要么分辨率低,要么只针对有限的词汇量,要么无法穿墙。本文提出了一种毫米波音频窃听系统MILLIEAR,它结合了毫米波雷达的高分辨能力和生成对抗网络的再生能力,实现了高质量的音频重建(即无词汇量限制) 。

2 动机

毫米波基于广域频谱提升探测范围。鉴于此,作者采用毫米波技术进行声学侵入手段,从而实现对目标位置的精确定位。与此同时,作者寻求应对策略以克服当前声学攻击仅针对有限词汇量的局限性。

在多路径噪声下,利用毫米波雷达信号提取说话者振动。

从毫米波振动重建无限制词汇量 的音频。

为此, 作者开发了一个名为MILLIEAR的双层结构系统。其中第一层从毫米波信号中采集说话者的振动信息; 第二层则通过条件生成对抗网络（CGAN）重构音频信号。

3 方法

MILLIEAR系统主要包含两个模块:

谱图生成(SG) :该模块主要负责目标识别与谱图提取。具体而言，该模块包含两个核心环节：一是目标定位；二是振动提取。在目标定位阶段中，首先对该模块处理的原始毫米波信号执行距离域快速傅里叶变换（FFT），以获取各目标的距离信息；随后执行多普勒域快速傅里叶变换（FFT），用于检测并定位振动的目标。为了提高分辨率，在每个信道调制信号（chirp）中将其分解为多个子信道信号来进行处理。在振动提取阶段中，则对每个信道调制信号应用短时傅里叶变换（STFT），从而获得时频域内的谱图信息。

音频重建(AR) :该模块基于条件生成对抗网络（CGAN）对毫米波振动谱图进行增强和降噪处理，并恢复出高质量的 audio 信号。 CGAN 通过利用原始 audio 数据与毫米波频谱图信息进行联合训练优化 model 参数，在提升 model 的识别能力的同时实现降噪效果。

图MILLIEAR系统框架

下面来看一下两个模块的具体设计。

3.1 谱图生成

该模块包含目标识别 和振动提取 两个阶段。

目标识别阶段中,首先对原始毫米波信号实施距离快速傅里叶变换（FFT）操作,以便检测出不同距离的目标。接着对多普勒信号执行快速傅里叶变换,通过分析各目标的速度特征来识别振动目标。在振动提取阶段中,将每个chirp信号分解为多个子chirp信号,从而获得多个相互独立的观测样本,这有助于提高真实语音频带识别的准确性。最后对每个子chirp执行短时傅里叶变换,从而获得时频域内的详细谱图信息

3.2 音频重建

作者采用了图像间的转换 途径,基于条件对抗生成网络(cGAN) 对毫米波频谱图实施增强处理。该模型通过整合两种不同类型的频谱数据构建训练集

• 毫米波雷达信号的谱图
• 原始音频的谱图

经过这种训练,cGAN学会提升毫米波谱图使其接近原始音频谱图

即便两者之间存在一定程度的词汇重叠,也能够达到精确的音频重建效果。
这表明cGAN能够实现任意数量词项下的音频重建能力。

4 实验和结果

作者采用了IWR1642毫米波雷达以及来自七位公众参与者的音频数据样本进行实验研究。实验的主要成果表明：

*MILLIEAR能够实现高质量的音频重建,其在Mel频率倒谱距离(MCD)评估中表现出色,平均得分为3.68分(满分10分),同时获得了6.83分的人工主观质量评分。

• 在面对距离和角度变化的影响时,该系统表现出良好的稳定性。
• 当遇到不同隔音材料时,除玻璃外,该系统性能基本未发生变化。
• 该系统具备对多种音频源进行区分并实现高质量重建的能力。
• 即使基于其他用户的训练数据进行优化,MILLIEAR仍能保持较好的重建效果。

上述结果表明,MILLIEAR可以实现高质量、稳健的无限制词汇量音频窃听 。

5 不足和未来展望

尽管实验效果显著,但MILLIEAR还存在一些不足:

毫米波窃听的对抗手段还很少,需要进一步研究。

目前还没有实现MILLIEAR的移动端,这更易隐蔽且具有实际攻击意义。

GAN生成器和判别器还可进一步优化,提升音频重建质量。

基于上述不足,未来的一些可能的研究方向包括:

更系统地研究毫米波窃听的对抗手段。

设计MILLIEAR的移动端实现,以便在手机上使用。

尝试更先进的GAN模型,如StyleGAN等,以提升重建质量。

在更复杂环境下测试MILLIEAR,如不同房间条件、不同噪声水平等。

6 总结

本文开发出了基于毫米波雷达与GAN的音频窃听系统MILLIEAR，成功构建了任意词汇量音频重建模型。该系统显著超越了现有技术，在远程性、穿透力和重建质量等方面表现优异。尽管仍存在优化空间[注：此处可能需要删除注释]但该研究方向具备极大的发展潜力[注：此处可能需要删除注释]。本文旨在为读者提供新的视角和启发[注：此处可能需要删除注释]并期待相关领域的进一步探索[注：此处可能需要删除注释]。