论文笔记-Who is Real Bob? Adversarial Attacks on Speaker Recognition Systems

论文笔记-谁才是真正的Bob？对抗攻击在说话识别系统中的应用

• Abstract
• INTRODUCTION
• BACKGROUND
• Speaker Recognition System (SRS)
  • Threat Analysis Framework
    • Scope of Analysis
      Note: The term "Threat Model" has been expanded to "Threat Analysis Framework" to enhance specificity while maintaining the original intent.

METHODOLOGY
MOTIVATION
DIGNITION PHILOSOPHY
DETAILED ANALYSIS OF OUR ATTACK: THE FAKEBOB PROTOCOL

• OUR ATTACK: FAKEBOB

• 问题建模

  • 针对OSI体系结构的攻击方法
  • 损失函数定义

    • 求解优化问题。

    • 最佳阈值估计算法。

    • Attack on CSI Systems

    • Attack on SV Systems

• ATTACK ASSESSMENT

  • Dataset and Experiment Design: This section focuses on establishing a systematic framework for data collection and experimental setup.
    • Performance Metrics and Operational Efficiency: The evaluation primarily assesses the system's effectiveness through performance metrics while emphasizing efficiency in operational aspects.
    • Human Factors in Imperceptibility: This subsection explores human factors influencing imperceptibility through a structured research approach.
    • Adversarial Robustness of FAKEBOB in Counteracting Defensive Mechanisms: The analysis evaluates the system's resilience against adversarial attacks within the context of defensive mechanisms.

Abstract

Biometric speaker recognition (SR) is a widely used biometric authentication and identification mechanism, commonly utilized in our everyday lives.

本篇论文全面了解SR系统 在实际黑盒环境中的安全弱点。

生成对抗样本对应于一个优化问题 ，结合对抗性样本的置信度与最大失真来权衡其强度和不可感知性。

该算法基于FAKEBOB框架设计用于生成对抗性样本。其重要发现在于开发出一种创新方法用于计算分数阈值（SRS中的关键指标）。通过将该计算结果应用于优化过程以改善相关优化任务的表现，在实验中展现了显著的性能优势。

INTRODUCTION

该语音识别技术是一种基于分析包含语音特征的话语数据来确定说话人的自动化方法。

为了优化性能，在进行语音识别时, 系统通过最大限度地降低与说话人相关的变量变化来提取基础文本信息

机器学习技术 是实现SRS的主流方法，但是它们很容易受到对抗性攻击。

• R. Taori 等人，在 IEEE S&P 工作坊上发表了题为《针对闭合音频系统的对抗性目标攻击方法》的研究论文。
  • S. Khare 等人利用多目标遗传优化方法，在自动语音识别系统中实施了抗受控白箱攻击策略。

对SRS系统的对抗性攻击目标在于从某一来源语音样本中生成示例，并使受攻击系统将这些示例误判为注册用户（非目标攻击型）或特定目标用户（针对性强的攻击），然而这种策略仍会面临普通用户能够准确识别其来源的风险。

在黑盒环境下，在这种情况下，对手最多能够获取每个输入语音的决策输出结果以及已登记说话人的分数。然而，在这种情况下，对手无法访问任何内部配置或训练与注册声音。

我们进行了在16种具有代表性的攻击场景中的实际操作测试。具体而言，在针对性与非针对性、通过API或无线通信两种不同的途径下进行了测试，并关注说话者的性别特征以及特定任务（SR）的表现。

技术挑战 ：

1. 在封闭系统中尽可能避免被轻易发现地生成对抗性样本。
2. 攻击策略具有较高的实用性，在针对未知场景下的 SRS 时同样有效。

优化目标 通过置信度相关参数 和 L 范数 中噪声幅度的最大扭曲来参数化，以平衡对抗性声音的强抗性和不可察觉性而非使用噪声模型，因为它具有较强的设备和背景敏感性。并将其分数阈值（SRS的一个关键特征）纳入优化问题中，在预测分数低于阈值时，则基于梯度白盒攻击无法完成。

优化目标 通过置信度相关参数 和 L 范数 中噪声幅度的最大扭曲来参数化, 以平衡对抗性声音的强抗性和不可察觉性而非使用噪声模型, 因为它的设备和背景敏感性强. 并将其分数阈值（SRS 的一个关键特征）纳入优化问题中, 在预测分数低于阈值时, 则基于梯度白盒攻击无法完成.

解决优化问题 ：利用梯度估计算法，即自然进化策略（NES）来估计阈值。

评估攻击性能：ivector-PLDA、GMM-UBM[16]和xvectorPLDA[26]以及两个特定的SRS上进行FAKEBOB攻击性能评估。商业系统包括Talentedsoft[28]和Microsoft Azure[29]

我们使用 16 个代表性攻击场景（共 40 个）基于以下五个方面评估 FAKEBOB：

• (1) 有效性/效率、
• (2) 可转移性、
• (3) 实用性、
• (4) 不可察觉性
• (5) 鲁棒性

通过制作高置信度 的对抗样本可以提高可转移率，但代价是增加失真 。

四种在语音识别领域有前途的防御方法：

1. 音频压缩
2. 局部平滑
3. 量化
4. 基于时间依赖性的检测

SRS 在黑盒对抗攻击下的安全弱点：

• 攻击者通过恶意手段实施攻击，能够规避金融交易流程 [2]、[32]、[4] 以及高安全性智能语音控制系统 [33] 的生物认证机制以便执行语音指令。
• 此类攻击将带来危害：使智能手机能够解锁，并允许访问应用程序 b[56] 进行非法金融交易。

BACKGROUND

Speaker Recognition System (SRS)

说话人识别 是一种先进的自动化技术，在此系统中可以通过分析说话人的特征信息来判断个体的身份。

在离线过程中, 通过特征提取模块从其提供的声学数据集中获取的声学特征向量来训练UBM（通用背景模型（UBM）。其中, 背景语音 即用于训练的语音数据集, 其中包含了用于学习语言统计模型的基础级别语音信号.

UBM 目标是建立一个能够代表整个数据集典型特征的模型集合。通过优化该模型的稳定性和运行速度, 可以显著提升系统的鲁棒性和效率。

在注册阶段为每位用户创建声纹识别系统时，在UBM框架下记录其声纹特征信息。

特征提取模块 ：将原始语音信号转换为承载该信号特征的声学特征向量。

该系统采用基于语音信号的时间-频率分析方法进行声学特征提取技术，在具体实现中主要包含以下几个关键步骤：首先通过Mel-Frequency倒频谱系数(MFCC)计算得到信号的时频特征信息；其次利用谱子带质心(SSC)对高频成分进行细化处理；最后结合语音感知特性引入感知线性预测(PLP)模型作为辅助特征提取手段[41-43]。

说话人识别任务 ：开放集识别(OSI)[17]、近集识别(CSI)[15]和说话人验证(SV)。

式中[S(x)]i (i∈G)表示说话人i发出的声音x的分数。

• OSI系统支持在注册阶段为多个说话人建立一个群体。对于给定任意输入语音x, 该系统通过分析登记各人的评分来判断其是否由其中一人发出或未被识别。*
  CSI系统始终接受所有输入声音, 因此确保每个声音都被归类到已注册的一位讲话者中。
  SV系统仅支持单个注册用户, 并对输入声音进行判断以决定接受或拒绝.

SRS 包括基于文本（要求合作方陈述预先定义的一组句子中的一个）以及完全自由（任由对话参与者自由表达）两种形式。

在短话语领域中,前者表现出较高的准确性,但在表达方式上存在明显的局限性.这限制了其应用范围,并且通常只适用于特定的SV任务如小爱同学.

也许需要冗长的表述才能达到精确度较高这一程度。然而，在实际应用中，这种方法更为通用化。

因此，在这项工作中，我们主要展示了我们对文本无关 的rss的攻击。

Threat Model

当攻击者从源说话者的原始声音中合成并注入特定干扰信号后，在遭受此类干扰的情况下进行测试时

为了在受害者的身份认证过程中制造攻击意图，请问您是否可以通过技术手段利用SRM系统来复制其声纹特征？

在无目标攻击下，我们可以操纵声音来模仿任何一个注册发言者的声纹。

基于具体实例SRS（例如Talentedsoft）提供API接口供调用以执行数据查询请求；而无线攻击则表明在物理世界中进行...的无线通信过程。

其主要作用在于允许攻击者获取相关的决策信息D(x)，而未提供其他相关信息。其中以微软Azure为例，在这种场景下，该系统仅当执行决策任务时才进行相应的操作。具体而言，在这种模式下，目标服务系统会针对特定的输入参数生成相应的决策结果，并且其主要作用在于允许攻击者获取相关的决策信息D(x)，而未提供其他相关信息。

因此，在特定、跨性别、无需设备连接且仅凭决策逻辑进行的数据攻击是最具实用价值且极具技术难度的一种攻击方式。

由于 SV 任务上的定向攻击和非定向攻击是相同的，因此有 40 = 48 − 2 × 2 × 2 种攻击场景。

METHODOLOGY

Motivation

1. 如何在一个封闭系统中对SRS的所有功能进行对抗性攻击？
2. 在多个环境下（包括跨架构、跨数据集、跨参数环境以及商业系统）下，并通过无线方式播放是否能够实现强大的抗噪声技术？
3. 普通用户几乎不可能发现敌对声音的存在。
4. 针对这种攻击是否存在防御策略？

Design Philosophy

黑盒攻击的现有方法 ：代理模型[61]、梯度估计[62]、[21]和遗传算法。

对于其他两种方法：研究资料显示，在所需查询数量方面，基于自然进化策略(NES)的梯度估计[21]优于有限差分梯度估计[62]；经实验研究表明，在收敛速度方面显著优于其他遗传算法

基于此，在OSI架构上实施了对比实验研究，并将NES定位为一种黑箱梯度估计技术方案。随后，在遗传算法框架中采用PSO配置作为优化工具。经过多轮测试与数据分析，在附录A中详细列出了各参数设置的具体数值与运行结果对比表。实验证据表明，在神经网络模型中提取的梯度估计效果显著优于粒子群算法的结果表现。

因此，我们利用了基于神经网络的梯度估计。

为了应对Q3问题的挑战，在解决该问题的第一步中，我们通过施加L∞范数约束来限制音频信号每个采样点的最大失真。

防御解决方案 ：

1. 音频压缩
2. 局部平滑
3. 量化
4. 时间依赖性检测

Overview of Our Attack: FAKEBOB

为了应对C1问题, 我们将对抗性样本生成归类为一个优化问题. 针对攻击类型的不同性质(包括有目标和无目标)以及任务的不同层次(涉及OSI层、CSI层和SV层), 我们设计了特定的目标函数. 最终,SRS被成功实现.

为解决优化问题，本研究的主要贡献包括：提出一种基于新算法的新方法。该方法不仅能够估计阈值和使用 NES 估计梯度[1]，还特别关注了基于估计梯度的 BIM 方法[2]。通过将噪声幅度的最大失真（L∞范数）以及对抗性样本强度作为关键指标纳入优化框架中来解决 C2 问题。

OUR ATTACK: FAKEBOB

Problem Formulation

基于某个源说话者的原始语音 x ，对手的目标是通过引入扰动 δ 制造出一个新的声音样本——对抗性语音 \hat{x} = x+\delta ，从而达到某种特定目的。该对抗性样本 \hat{x} 的产生过程通常依赖于对目标系统的分析和建模能力，在其设计过程中需要综合考虑多个因素以确保其有效性。具体而言，在特征空间中这一新的样本点 \hat{x} 与原样本 x 之间会形成显著的差异特性；这不仅能够提高分类器识别抗干扰音频的能力（即提升 P(\text{类别错误})），还能够有效降低相关模型的鲁棒性。

• (1) ´x 被认定为有效语音，
• (2) δ 被设计成难以被人类察觉，
• (3) 在受到攻击的情况下,SRS 识别 ´x 为已登记说话者或目标说话者之一。

保证声音有效：

FAKEBOB 先对每个样本点处的语音 x 的幅度值 x(i) 进行归一化处理至区间 [−1, 1]；随后生成扰动信号 δ 并保证处理后的信号 ´x(i)=x(i)+δ(i) 确保其幅值在 −1 到 1之间；最后将处理后的信号 ´x 转换为 WAV、MP3 或 AAC 格式的音频文件并将其传输至目标 SRS

在不被人类察觉的情况下，在不被人类察觉的情况下，在不被人类察觉的情况下，
使用L范数计算原始音频与对抗音频之间的相似度，
其值小于设定的最大扰动幅度ε（epsilon），
其中i代表音频波形采样的各个点位置。

我们可以通过研究目标 SRS 的欺骗行为来实现目标。研究者们通过识别语音 x 中的对抗性语音 ´x 来进行分析。为了将其问题形式化为一个约束优化模型。

在该模型中，在优化过程中最小化f时，在输入空间中离散点集\delta x会被分类为目标说话者，在主动攻击场景下或者作为已注册用户的备选身份，在非主动防御机制场景下。

当前其他研究 ，仍然需要定义损失函数 和算法 来解决优化问题。

Attack on OSI Systems

Loss function

要对 OSI 系统成功地发起攻击目标 ，需确保其得分 [S(x)]_t 为正值。

• 所有注册说话人中最大的一个，
• 不小于预设阈值θ。

因此，目标说话人t的损失函数f定义如下：

其中参数κ受到[24]研究的启发，在调节对抗声音强度方面具有重要作用：当其值越大时，在声源抑制系统（SRS）中对将对手语音识别为目标说话人t的能力就越强。

在κ取正值的情况下，在信号处理系统中，并非仅仅试图通过改变说话人t的声音特征来识别特定声音x；相反地，则是为了使在所有被记录的对话者中以及设定的阈值之上

若要进行无目标攻击，可以将损失函数f修改为:

直观上，我们希望找到一个扰动 δ，使得 x 的最大得分至少比阈值 θ 大 κ。

Solving the optimization problem.

具体来说，BIM 方法首先设置 ´x0 = x，然后在第 i 次迭代中，

• η被定义为学习率。
• clip函数用于对音频x`进行处理。
  • 首先，在L范数意义下，在以\epsilon为半径的邻域内对音频x`执行逐帧截断处理；
  • 然后将处理后的结果转换回原始的音频形式。

依赖于识别结果，利用NES计算梯度∇xf(´xi−1)，

在第i次迭代中，

生成一个严格要求为偶数的高斯噪声序列(u₁,…,uₘ)，并将其叠加至{x}_{i-1}^{'}上以生成m个新的观测值\acute{x}_{i-1}^{1},...,\acute{x}_{i-1}^{m}。其中每个观测值满足关系式{x}_{i-1}^{j}= {x}_{i-1}^{'} + \sigma u_j（σ表示NES算法中的搜索方差）。随后通过调用SRS计算每个观测值的损失函数值：f({x}_{i-1}^{'})至f({x}_{i-1}^{m})。在计算初始点处的梯度时使用了数值微分法，并采用以下公式进行具体计算：

\nabla_x f({x}_{i-1}^{'}) = \frac{1}{m \times \sigma}\sum_{j=1}^{m}\left[f(\acute{x}_{i-1}^{j}) \times u_{j}\right]

在我们的实验中，m = 50， σ = 1e−3。

最后，在梯度向量\frac{1}{m\times\sigma}\sum_{j=1}^{m}f(\acute{x}_{i-1}^{j})\times u_{j}的基础上，我们进行了相应的数学符号处理，并得出了在{-1,0,1}域上的向量sign(∇xf(´xi−¹))。

基于梯度的BIM方法受到限制的原因在于：由于无法获取损失函数f所使用的阈值θ，在黑箱环境中生成对抗样本变得不可行。

Threshold Estimation Algorithm

目标 ：是计算一个小的θ'，使θ'≥θ。

如图所示：该系统包含一个评分机制S和一个决策模块D。对于任何声音x满足D(x) = 拒绝的情况——即认为x是冒名顶替者发出的声音——该算法将产生参数θ满足条件θ ≥ θ。

Attack on CSI Systems

CSI系统始终坚持将输入的声音始终分为注册用户之一，并类似于车机系统中常见的辅助识别工具"小迪"。

我们可以通过忽略阈值θ来适应对OSI系统的攻击。

具体而言，在基于目标说话人t∈G的CSI系统的定向攻击情况下（即），损失函数被定义为：

f(x)=\max\big\{(\max_{i\in G\setminus\{t\}}[S(x)]_{i}-[S(x)]_{t}),-\kappa\big\}

在直观上, 我们寻求存在一个微小的调整量 δ, 通过调整该值可以使说话者 t 的得分为所有登记者的最高得分, 并且确保该得分为第二名得分之上至少高出 κ 个单位.

基于此，在CSI系统中无目标攻击的损失函数定义为：f(x)=\max\{([S(x)]_{m}-\max_{i∈G∖{m}}[S(x)]_i),−κ)\}其中 m 代表原始声音的真实说话者。从理论上讲，在这种情况下我们希望存在某些微小的扰动 δ 使得其他记录员（即非目标攻击者）的最大得分至少高于目标说话者的得分 κ。

Attack on SV Systems

SV系统只有一个登记说话者（小爱同学）。

具体来说，攻击SV系统的损失函数定义为:f(x)=\max\{\theta-S(x),-\kappa\}

从直观上看

ATTACK EVALUATION

基于多维度的安全性能评估框架, 我们对FAKEBOB技术方案的安全性能进行了详细分析, 并重点关注了其 five key aspects: 安全性和可行性（涵盖有效性和效率）、可推广性、适用性和不可察觉性的稳定性.

Dataset and Experiment Design

我们主要采用三种常用的数据集：Vox Celeb 1、Vox Celeb 2 和 LibriSpeech（如表 I 所示）。为了展示我们的攻击方法，在 Kaldi 的 ivector 和 GMM 系统上作为目标，在 Github 上拥有大量星标和分支数目。

设定参数 κ 值为 κ = \mathcal{O}（此处需补充具体数值或符号定义），最多迭代次数设为 iter_{max} = 1,00。在 NES 方法中使用标准差 σ 定位在区间 [σ_{min}, σ_{max}] 内进行优化。通过均匀地选取 m=5\mathfrak{g} 的个体作为父代群体，在 NES 中每次抽取的样本数量被设定为此数值范围内的随机整数（除非有特殊说明）。

本工作中使用的指标：

在多个领域中被广泛应用的信噪比（SNR）是一种关键的技术指标。为了衡量对手声音的质量损失程度，我们将其应用于评估系统性能。

SNR(dB)= 10 log10(Px/Pδ) ：Px 是原始语音 x 的信号功率，Pδ 是扰动 δ 的功率

信噪比值越大，则振动幅度（相对值）会越小。在对系统性能进行评估时，我们采用了两个关键指标：迭代次数与运行时间。特别注意的是，在该算法中，每次查询的总操作量等于迭代次数乘以每次抽样的样本数（其中，在NES算法中设定为m=50）。

Effectiveness and Efficiency

为了验证核心模型的性能指标并考察其有效性与效率，在OSI、CSI及SV等关键任务中分别开发了ivector与GMM系统的构建技术。

以表三的数据为基础分析这些系统的性能表现。其中准确率保持一致，在正常情况下表现良好。具体而言：

• 错误接受率（FAR）是指冒名顶替者所发出却被误认为真实声音的数量占比；
• 错误拒绝率（FRR）则涉及真实身份者的声音却被误拒的数量占比；
• 开放集识别错误率（OSIER）则是衡量系统对无法正确归类声音识别能力的重要指标。

在完成CSI任务的过程中，FAKEBOB获得了(1)的评价。其在抗噪声混合环境（GMM）下的表现显著，在该环境下的ASR达到了90%，表明系统能够有效识别目标说话人的抗性语音。同时，在UTR指标上也表现出色，在此指标下准确率达到100%，这表明系统能够有效区分目标与非目标说话人的抗性语音。

Human-Imperceptibility via Human Study

研究表明，由FAKEBOB生成的对抗语音会导致系统异常行为（即被判定为目标说话人的语音），同时实验显示大部分无效抗干扰音频样本均被成功分类出去；普通用户难以识别这些音频特征，并且实验结果与现有研究相仿。

Robustness of FAKEBOB against Defense Methods

Adversarial voice attacks.

Y. Gong and C. Poellabauer, “Crafting adversarial examples for speech
paralinguistics applications,” in DYNAMICS, 2018.

Adversarial examples were employed to deceive the end-to-end speaker verification system as presented at ICASSP in 2018.

H.Abdullah,M.S.Rahman,W.Garcia,L.Blue,K.Warren,A.S.-dav,T.Shrimpton,andP.Traynor,"Listen"noevil,"view"kenansville:"Theproposedframeworkachievesremarkableperformanceacrossthestandingardspeechrecognitionandmultimodalmachinelearningsystems.Theframeworkischaracterizedbyitsrobustnessandestablishedtransferabilityincertaintyalternativeenvironments.Throughanintegratedapproachcombiningadvancedsignalprocessingtechniquesandinnovativemachinelearningalgorithms,theattacksmakeitpossibleforadversarialagents toeffectivelydisturbperformancesystemswithinthesecategories.Thereby,theconceptof"listen"nosuchthingasevil"emergesasapowerfultoolforsecuringmoderncommunicationandinformation systems.

请问您进行的是什么类型的攻击？是针对抗样本的对抗还是录音回放等技术手段？此外还包括语音合成与语音转换等欺骗性攻击。

我对文中的一些概念仍存在诸多疑惑。能否提供关于自然演化策略和阈值估计算法的详细讲解？如果方便的话，请您能推荐一些相关的参考资料？

• Wierstra等人提出了一种自然进化策略的方法。
  该研究发表于《机器学习研究》期刊上。
  具体而言，
  他们提出了基于自然进化的技术，
  其发表日期为2014年1月，
  卷号为15，
  期号为1，
  页码范围为949至980。
  该研究的国际标准识别号码（ISBN）为1532-4188。

  4435. URL dl.acm.org/citation.cfm
        id=2627435.2638566.

该研究团队提出了一种进化策略作为强化学习的一种可扩展替代方法。该方法作为一种可扩展替代方案用于强化学习发表于CoRR期刊，并在其预印本编号为arXiv:1703.03864的论文中详细阐述了其原理与应用效果。其预印本编号为arXiv:1703.03864的论文详细阐述了其原理与应用效果，并于2017年发表于CoRR期刊上。研究团队及其合著者通过系统性实验验证了该方法的有效性与优越性，并将其完整内容可通过以下URL访问：https://arxiv.org/abs/1703.03864