《Unlearning Backdoor Attacks in Federated Learning》论文阅读笔记

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

摘要

一、Introduction

二、防御方法

1.前提条件

2.Erase Historical Parameter Updates

3.Knowledge Distillation

三、实验

四、结论

---

摘要

Backdoor attacks constantly pose a significant threat to the federated learning system. Significant progress has been achieved in mitigating such attacks both during and after the training process. However, the process of removing a potential attacker's contribution from the trained global model remains an unresolved issue.

With the aim of achieving our objective, we introduce a federated learning-based removal approach. By removing adversarial contributions through subtracting accumulated historical updates from the model, we leverage knowledge distillation techniques, ensuring that model performance is restored while avoiding the introduction of backdoors. The approach is versatile enough for application across various neural network architectures. To ensure both practicality and efficiency in implementation.

（这篇文章利用知识蒸馏来恢复Unlearning后的模型性能，如何用的呢？）

Show experiments on three standard benchmark datasets highlight the efficacy and performance of our method.

---

一、Introduction

现有研究主要关注于通过服务器端筛选异常更新行为，在安全聚合阶段进行评估。然而，在被识别为异常之前，这些设备可能已经经历了联邦学习的迭代过程。此外，在一些客户端已经开始进行数据脱敏工作的项目中发现：当脱敏任务由攻击者执行时（如引用三篇相关论文所述），防御机制可能会失效。

讲述服务器端进行蒸馏的优点：

我们提出的方法能够彻底消除由已识别攻击者引入的后门行为，并且其带来的模型性能损失控制在合理范围内。该方法通过去除攻击者的参数更新历史并借助知识蒸馏技术恢复训练目标网络。具体而言，在实验中我们采用旧的全局模型作为教师网络来训练新的去向网络。该方案具有以下优势：1）能够有效防止被注入的恶意指令；2）保持了较高的分类准确率；3）避免了传统防御机制可能带来的性能瓶颈；4）无需额外的数据集增强需求。

不产生客户端相关成本

不产生客户端相关成本

不产生客户端相关成本

不产生客户端相关成本

不产生客户端相关成本

不产生客户端相关成本

不产生客户机相关成本

不产生客户机相关成本

不产生客户机相关成本

不产生客户机相关成本

不产生客户机相关成本

不产生客户的额外负担

避免后门特征的传播：由于没有出现潜在威胁模式时这些特性难以被激活，则会导致这些特性无法从教师模型传递给学习模型

避免过拟合 ：通过知识蒸馏技术能够有效避免模型出现过拟合现象，并且这种技术还能够显著提升模型在训练区域附近的表现稳定性。这种措施不仅能够显著增强模型的整体稳定性（鲁棒性），而且通过持续优化和改进还能进一步提高其性能水平。

---

二、防御方法

1.前提条件

服务器端保存下每一轮客户端的历史更新。

2.Erase Historical Parameter Updates

代码如下（示例）：这里理出了一个概念：FL中的增量式学习特性

在联邦学习（Federated Learning, FL）框架下，“增量学习特性”（Incremental Learning Property）描述了模型每次迭代时基于现有状态进行逐步调整的能力。这表明后续的学习都建立在前一阶段结果的基础上。这一特性对于深入理解联邦学习中的模型更新机制及其反向学习过程具有重要意义。

增量学习特性的影响

依存关系：每个阶段生成的模型参数会受到前一阶段参数的影响。若某一个训练周期引入了异常值或偏移（例如：被恶意客户端注入的后门样本），这些异常值和偏移会在后续迭代的过程中不断积累并影响模型优化过程。

积累影响：每一次迭代都会对全局模型的状态产生一定的改变。由此可知，在去除某个客户端（例如，在检测到的攻击者）的作用时，则必须考虑到该客户端在整个更新周期中的作用，并非仅仅关注其最后一次更新效果。

因此应当综合考量在各轮次中攻击者的贡献 并在各轮次中计算必要的修正（skew）ϵt来修正全局模型以弥补除去攻击者贡献所导致的偏差

这个公式分为四步：

（1）初始模型

（2）累加所有客户端的历史平均更新：模拟没有攻击者情况下，FL会怎么更新

（3）减去恶意攻击者的历史平均更新

（4）修正偏差

带来的问题：攻击者贡献较小，良性客户端的更新不断被放大。

lazy learning strategy：该策略假设恶意客户端加入良性更新机制，并使更新的数据置零即可完成相应的防护措施。

这里的懒惰遗忘学习分为三步：

（1）初始模型即当前全局模型

（2）初始模型中减去恶意更新

（3）修正偏差

3.Knowledge Distillation

知识蒸馏于2016年间被首次提出，并有助于提升模型的泛化性和鲁棒性。从而能够有效防御对抗攻击。

使用基础的全局模型作为Teacher，在经过Unlearning（step1）训练后用于生成Student模型。其原理在于：当输入包含backdoor模式时，在知识蒸馏过程中没有backdoor输入可用，并因此无法将backdoor行为转移至学生（unlearning）模型中。

上面这个式子描述的是对student模型使用KD时的损失函数。

---

三、实验

实验设置：

MNIST，10个客户端，1个攻击者，数字1预测为数字9。

CIFAR-10，10个客户端，1个攻击者，卡车预测为汽车。

GTSRB，5个客户端，1个攻击者，停车标志预测为限速标志。

Post-Train阶段：经过unlearning后，在联邦学习（FL）框架下继续开展实验研究；值得注意的是，在该过程中未引入外部攻击参与者。（基于知识蒸馏技术的方法能够显著提升模型性能——从KD的角度来看，这种技术本身就具有增强模型泛化能力的作用）

Re-Train：从0开始重新训练模型，完全没有攻击者的参与过程。

一些结论：

（1）Unlearning对于后门的移除效果非常显著，但同时对于ACC影响也很大。

（2）KD可以提升模型的泛化性和鲁棒性，不会引入后门。

（3）KD恢复ACC的过程非常迅速，仅用5个epoch即可完成。

四、结论

我们开发出一种联邦学习机制...用于防止可能被注入到系统的恶意行为进行检测与响应...该系统通过从训练模型中去除其历史参数更新步骤...从而有效地区分出由攻击者发起的整体策略变化...随后采用知识蒸馏技术进一步优化学习效果...使得整体训练过程更加均衡与准确...通过多组实证研究发现该方案在MNIST、CIFAR-10等典型数据集上均展现出较高的性能指标...值得注意的是该方案的独特优势在于其完全基于服务器端的设计理念使得运行时间与能源消耗效率较之前相关方案实现了全面超越