精读笔记 - Attack of the Tails: Yes, You Really Can Backdoor Federated Learning
文章目录
-
精读读书笔记 - 《tails 攻击：联邦学习中的后门门道 》
-
-
- 基本信息
-
-
- 核心贡献与基本原理
-
- 2.1 边界情况形式化定义
-
- 2.1.1 边界情况的黑盒防御机制
-
- 2.1.2 边界情况下的后门模块构建框架
-
- 2.1 边界情况形式化定义
-
- 2.2 边界情况下的后门防御体系
-
-
-
- 实验结果与分析
- 3.1 边界情况下的鲁棒性评估
- 3.2 多模态数据环境下后的性能提升
-
-
4. 结论
- 2.3 算法基本步骤
-
-
3. 实验验证环节与结果分析部分
-
- 3.1 本节主要介绍用于图像分类任务的实验设置
-
- 3.1.1 数据集的选择与模型架构的设计方案
- 3.1.2 影响后门攻击效果的关键因素分析
-
-
3.2 评估恶意客户端本地数据集中 D_{edge} 的比例对攻击性能的影响
-
3.3 分析联邦学习环境下的安全聚合安全性
-
3.4 探究攻击者参与联邦学习训练的不同策略对其模型后门任务表现的影响
-
3.5 探讨模型参数规模对其后门任务执行能力的具体影响
- 4. 实验结论 与 未来展望
精读笔记 - Attack of the Tails: Indeed, One Must Navigate the Intricate Doorway of Federated Learning When Attacking Claws: A Path to Success
1. 基本信息
| 论文标题 | Attack of the Tails: Yes, You Really Can Backdoor Federated Learning |
|---|---|
| 论文作者 | Hongyi Wang, Kartik Sreenivasan, Shashank Rajput, Harit Vishwakarmaw Saurabh Agarwal, Jy-yong Sohn, Kangwook Lee, Dimitris Papailiopoulos |
| 科研机构 | University of Wisconsin-Madison, Korea Advanced Institute of Science and Technology |
| 录用会议 | NeurIPS 2020 |
| 摘要概括 | 此项工作围绕着联邦学习后门鲁棒性问题提出 edge-case backdoor 。所谓 edge-case 作为恶意客户端的毒样本出现在联邦学习系统中所有客户端训练集中是小概率事件 。恶意客户端结合该毒样本与良性样本，使用 PGD 算法更新迭代本地模型参数得到恶意模型更新并上传给服务器，从而实现全局模型后门注入。 |
| 开源代码 | https://github.com/kamikazekartik/OOD_Federated_Learning |
2. 核心贡献 与 基本原理
在联邦学习环境中开发了一种名为Edge-Case Backdoor的抗干扰攻击算法。通过强化该机制对注入式后门的防护能力，在本地模型训练过程中，恶意客户端作为攻击手段被应用于所有参与方，并利用这些本地模型捕捉到罕见分布模式下的潜在安全威胁。
2.1 edge-case 形式化定义
以图像分类任务为例子
后门任务
如何构造 edge-case , 以 MNIST 数据集为例子
选择恶意客户端中的部分良性样本，并与ARDIS数据集中的样本（作为edge-case候选集）进行对比。随后，在本地模型中逐一输入这些样本进行预测操作，从而输出相应的logits值。接着，在这些输出结果的基础上训练出一个能够反映各数据点概率分布的高斯混合模型。最后，在此基础上筛选出两组数据在概率分布上差异显著的数据集，并将其作为案例库。
2.2 edge-case backdoor基本模块
2.2.1 黑盒攻击
恶意客户端的毒样本集中的数据无需修改；仅需将原有数据的类别标签调整为攻击者预期的错误分类类别。本地训练集中包含原始干净数据集D和经过污染后的数据集D_{edge}。为了提升安全性能，在构建本地训练集时需要根据需要调整两者的比例，并观察后门攻击的效果。
2.2.2 PGD攻击
为了限制恶意客户端的更新迭代行为，在优化过程中施加了条件约束||w-w_i||\leq \delta。这表明，在完成所有更新迭代后，局部模型参数的变化幅度不得超过设定值，并且最终结果能够有效避免后门行为对系统安全造成的潜在威胁。
2.3 算法基本步骤
攻击者通过某种手段获取了恶意样本集 D_{edge}。在本地模型更新过程中，在被控制的设备上收集了数据，并将这些数据与原始样本结合使用以形成新的训练数据集 D^{\prime}。攻击者利用PGD算法对异常更新进行限制，并生成带有后门特性的本地模型参数。这些异常参数被发送回云端服务器进行集中处理，并待所有设备完成更新后，在云端完成整合并部署新的模型架构。
3. 实验验证 与 结果分析
3.1 实验设置（仅讲述图像分类任务）
3.1.1 数据集/模型架构
| 数据集 | 模型架构 | 客户端总数 | 每轮参与训练客户端总数 |
|---|---|---|---|
| CIFAR10 | VGG9 | 200 | 10 |
| EMNIST | LeNet | 3383 | 30 |
| ImageNet | VGG11 | 1000 | 10 |
3.1.2 影响后门攻击效果因素
- 攻击者的干预模式 ：
- 在固定频率下运行时，在每个迭代周期中进行一次分析；在这种模式下，攻击者会通过主动选择特定客户端来进行后门学习。
- 系统预设多个恶意客户端候选池，在每个周期中随机抽取一组作为潜在威胁；一旦被选中，则必须等待全局同步阶段才能执行相应操作。
通过多维度评估不同防御机制的效果 NDC/krum/multi-krum/RFA/DP ，研究者们旨在探索这些技术在对抗攻击场景下的防护效能
3.2 验证 D_{edge} 占恶意客户端本地数据集的比率对攻击性能的影响
- 本组研究初步探究了恶意客户端中不同恶意样本比例对系统性能及后端任务准确率的影响。实验结果表明随着 D_{edge} 比重的增加系统与全局模型之间的偏差程度也随之上升。然而在后端任务方面发现当 D_{edge} 达到一定程度时其对抗效果却逐渐减弱；
- 本组实验从全局视角研究恶意客户端在不同恶意样本比例下的全局模型主任务与后门任务准确率变化情况。如下图所示，在该情况下不同恶意样本比例对主任务的影响较小, 但会随着后门样本比例的增加而导致后门任务准确率提升。
3.3 验证联邦学习安全聚合防御效果
在比较各联邦学习安全聚合防御方案的效果时，请参考下图所示的数据对比结果：在黑盒攻击场景下,KRUM和Multi-Krum方法能够有效抵御攻击,然而,RFA和NDC却无法阻挡攻击者的侵害.针对基于PGD的恶意梯度更新策略,在上述四种防御方法中均未能有效防护.
3.4 验证攻击者参与联邦训练的模式对后门任务性能的影响
- 在联邦学习系统中，在固定频率情况下对比分析攻击者的参与程度与恶意客户端占比的关系；
如图1所示，在固定比例的情况下对比分析不同攻击频率下的后门任务准确率； - 如图2所示，在固定比例的情况下对比分析不同攻击频率下的后门任务准确率；
当攻击频率增加时其对应的后门任务准确率显著提升。
3.5 验证模型容量对后门任务性能的影响
模型各层输入输出通道数按照固定比例进行调整以构建不同参数量级的模型通过对比实验分析不同模型规模对后门任务性能的影响实验结果表明随着模型容量的增加其在后门任务上的准确率显著提升然而这种增长带来的代价是小规模模型虽然在后门任务上的准确率有所提升但在主任务上的学习能力却有所下降
4. 实验结论 与 未来展望
阐述了edge-case backdoor的存在不仅揭示了其持久有效性以及抗性，在后续研究中需要开发针对edge-case backdoor攻击的防御机制。