精读笔记 - DBA: Distributed Backdoor Attacks Against Federated Learning

文章目录

• 精读笔记 - DBA: Distributed Backdoor Attacks Against Federated Learning

• • 1. 基本信息
  • 2. 基本原理
  • • 2.1 系统总览
    • 2.2 算法步骤

• 3. 实验设计

  • 3.1 数据源与实验配置

    • 3.2 分布式攻击对比分析

      • 3.2.1 理论基础
      • 3.2.2 实验结果详细阐述

    • 3.3 分布式攻击的鲁棒性

    • • 3.3.1 对RFA的鲁棒性
  • 3.3.2 对FoolsGold的鲁棒性

• 3.4 基于特征可视化的方法用于后门攻击行为的解释

• 3.5 分析各关键参数对攻击效果的影响

• • 3.5.1 缩放因子γ的作用

    • 3.5.2 局部触发器位置对攻击效果的影响

    • 3.5.3 局部触发器之间空隙与攻击效果的关系

    • 3.5.4 局部触发器尺寸对其敏感区域的影响

    • 3.5.5 分布式攻击对其各敏感区域攻击间隔的影响

    • 3.5.6 训练数据集中毒样本的比例分布情况

    • 3.5.7 客户端数据分布特征及其对模型鲁棒性的影响

    • 4. 实验结论

精读笔记 - DBA: A novel approach to counter distributed backdoor attacks in federated learning

研究者们开发了一种新的技术手段（ novel approach） ， 该技术手段旨在有效应对当前联邦学习环境中出现的分布式后门攻击问题（ aims to effectively address the current challenge of distributed backdoor attacks in federated learning environments） 。

1. 基本信息

论文标题	DBA: Distributed Backdoor Attacks Against Federated Learning
论文作者	Chulin Xie, Keli Huang, Pin-Yu Chen, Bo Li
科研机构	Zhejiang University, Shanghai Jiao Tong University, IBM Research, University of Illinois Urbana-Champaign
会议年份	ICLR 2020
摘要概括	提出了分布式后门攻击算法（DBA）。具体而言，假设存在多个恶意客户端，将定义好的后门触发器（全局触发器）分解成若干部分（局部触发器），每一个恶意客户端毒样本的触发器是局部触发器。通过多个恶意客户端学习全局触发器的一部分的特征，最后聚合成全局后门，实现对全局模型后门攻击。
开源代码	https://github.com/AI-secure/DBA

2. 基本原理

2.1 系统总览

2.2 算法步骤

客户端目标优化函数的设计以及全局模型更新的聚合方法原理与《How to Backdoor Federated Learning》一致。

• 将后门攻击机制中的全局架构进行模块划分。
• 多个恶意用户的毒样本训练集中所包含的所有激活点均为独立于全局架构的局部激活点。

3. 实验设计

3.1 数据集与实验设置

数据集

实验数据集

标准设置

标准设置

标准设置

3.2 分布式攻击 v.s 中心化攻击

3.2.1 基本概念

• Multiple-shot attack : 攻击者会在多轮 全局迭代中被选中，并且累加的恶意更新对于攻击成功是有必要的，否则后门会被容易被局部模型弱化并被全局模型遗忘。为了能够快速观察分布式攻击和集中式攻击的区别，当有恶意客户端参与训练的时候，在每轮参与训练的10个客户端中，选择所有恶意客户端参与训练，剩余的良性客户端，在所有良性客户端中随机选择。
• Single-shot attack : 攻击者仅需要一轮 全局迭代即可实现嵌入后门于全局模型中。攻击者需要将恶意模型更新进行放大，在全局模型更新聚合中占据压倒性的权重，以实现全局模型植入后门。（为了公平比较，分布式攻击和集中式攻击都会在同一全局迭代轮次完成对全局模型植入后门的任务，以 MNIST 数据集为例子，分布式攻击分别在第12，14，16，18轮全局迭代嵌入1~4的局部触发器，而集中式攻击在第18轮全局迭代嵌入全局触发器）
• 【小结】：Multiple-shot attack 研究后门成功的难易程度，而Single-shot attack 研究后门的持久性。

3.2.2 实验结果分析

【对比实验设置 】：

通过统一的全局触发器进行对比实验, 分析分布式与集中式攻击的成功概率差异。
为了保证实验结果的公平性, 我们设计了相应的约束条件, 确保各方案的公平性评估时具有可比性。
在评估系统鲁棒性时, 通过筛选不带真实标记的样本, 避免原始标签对测试结果产生的干扰。
此外, 我们设定如下参数: 当无参与者发起多轮攻击时系统达到平衡状态; 其中学习率设置为η=0.1用于CIFAR10训练而其他场景采用η=1进行单次攻击模拟。

【实验结果分析 】：

Mutilple-attack

Mutilple-attack

Single-attack

Mutilple-attack

Single-attack

3.3 分布式攻击的鲁棒性

该研究工作聚焦于基于距离或相似度评估的鲁棒联邦学习聚合机制，在现有研究的基础上提出了一种新型鲁棒联邦学习框架

3.3.1 对RFA的鲁棒性

3.3.2 对FoolsGold的鲁棒性

3.4 以特征可视化的对后门解释

3.5 触发器相关参数影响

在单一攻击场景中考察缩放因子γ对分布式系统抗攻击能力的影响,分别从四个关键指标展开评估:DAU-LR（代表存在恶意用户的最后一轮迭代中的攻击准确率）,PA-Rate（代表存在恶意用户的最后一轮迭代中的主任务准确率）,DAU-LR(t)(代表无恶意用户持续进行t轮迭代后的攻击准确率),以及PA-Rate(t)(代表无恶意用户持续进行t轮迭代后的主任务准确率)

3.5.1 缩放因子 \gamma

• 一般情况下，在 \gamma 值上升时会导致系统性能出现明显下降现象。这是因为缩放操作会破坏神经网络中的更多参数信息。
  LOAN 数据集由于其简单的模型结构，并不会受到缩放操作的影响而导致系统性能出现明显下降现象；但在 Tiny-imagenet 数据集上当缩放因子 \gamma=110 时系统性能会出现较大程度的下降情况。
• 【总结

3.5.2 局部触发器位置影响

在MNIST数据集上进行研究时发现，在DBA-ASR算法中观察到的偏移位置呈现出U型曲线特征；而在Tiny-imagenet手写数据集中，则呈现出类似特征的DBA-ASR-t算法。进一步分析可知：这正是因为图像中间区域通常集中了主要物体；而这一区域受分布式攻击难以成功突破；并且由于这些像素是维持任务核心准确性的基础，因此容易被遗忘。

3.5.3 局部触发器之间空隙与影响

对于图像数据而言，在局部触发器间空隙达到最大值的情况下，DBA-ASR 和 DBA-ASR-t 的表现均不理想**（原因在于局部卷积操作与局部触发器之间的距离过大而导致全局模型无法识别全局触发器所致）**；
在 MNIST 数据集上而言，在局部触发器间距达到一定数值时（DBA-ASR 与 DBA-ASR-t 的性能急剧下降），这是因为右下角的局部触发器与图片中心对象存在重叠现象；
针对 CIFAR10 和 Tiny-imagenet 数据集而言，在局部触发器间距为零的情况下仍可实现攻击成功（但后门遗忘速度较快）。

3.5.4 局部触发器尺寸的影响

对于图像数据而言，在特定尺寸范围内内部局部触发器的尺寸越大，则其攻击效率越高的提升幅度越大；当触发器尺寸超出该范围后，则不会影响到攻击效率。

3.5.5 分布式攻击对不同局部触发器攻击的间隔

• 分析分布式攻击中各局部分析参与攻击的时间间隔特性及其相互作用关系是当前研究的一个重要方向。
  实验结果表明：若所有局部分析器在同一轮次完成攻击行为，则整体放大效应叠加可能导致系统出现崩溃状态。
  若所有局部分析器在同一轮次完成攻击行为，则整体放大效应叠加可能导致系统出现崩溃状态。
  此外，在较宽泛的时间跨度下进行分析时会发现早期嵌入的安全标记可能会逐渐消失。
  这种特性可能与放大效应过于显著地改变了全局模型中的参数配置，并导致主任务的准确率显著下降有关。
  这种特性可能与放大效应过于显著地改变了全局模型中的参数配置，并导致主任务的准确率显著下降有关。

3.5.6 训练样本中每一个batch毒样本所占比重

• 毒样本占每个批次的比例过高可能会引发问题。具体而言,恶意行为规模扩大将导致良性行为占比减少,从而影响局部模型性能,最终导致全局模型性能下降。
• 当所有批次均为毒样本时,CIFAR与Tiny-imagenet数据集在无恶意客户端攻击的情况下,主任务表现良好且能恢复准确性;然而,MNIST数据集由于其特殊性,无法恢复。
• 【结论

3.5.7 客户端数据分布

• 通常情况下联邦学习客户端的数据集划分多采用迪利克雷分布在完成任务过程中。
• 其中参数\alpha需满足\alpha \geq 0 ，其中参数α值越大则越接近于同分布特性。
• 针对多种攻击场景分析不同参数设置下的攻击成功率。
• 实验结果表明数据分布对攻击成功率存在显著影响。
• 当客户端的数据服从非独立同分布时 ，客户端上传的模型更新彼此之间差异较大 ，这种特性有助于后门行为的有效隐藏。

4. 实验结论

分布式攻击相较于集中式攻击后门更具持久性，并且其攻击性能更为高效。在single-attack和multiple-attack两种情况下，该方法均展现出显著的攻击成功率，并较快速度上收敛。此外，在面对两种经典的鲁棒安全聚合方案时，分布式架构具备较强的防护能力