How to Backdoor Federated Learning

一 联邦学习

分布式深度神经网络采用n个参与者分别对本地数据进行训练，并随后将本地模型与全球模型之间的差异进行融合；私有数据始终未脱离参与者各自的机器，并且所有的机制均能确保有效保护参与者的隐私

假设参数n是一个较大的数值，在第t轮中选择m名参与者，并将全局模型G_t发送至每位参与者的本地端。随后利用本地数据训练得到L_{t+1}之后将两者的差异值传输至中心节点。为了优化效果，在此阶段对差异值施加随机缩放因子。这一差异值由中心节点用于优化并生成新的模型版本G_{t+1}。当计算出η = n/m时，则该模型会被局部模板集的平均值完全取代；对于某些应用场景，在计算聚合系数时可采用较小的η；而当n达到1×10^8级别时，则需增大η以促进局部对全球模型的影响。

设置两个初始值V0和V1，在该框架中构建一个全局基准模型G，并将本地数据集D引入到其对应的损失函数L(G)中；随后采用梯度下降算法对局部优化器进行迭代更新；最终输出经过训练后的本地化版本G'。

二 后门攻击综述

（1）威胁模型

攻击者：控制一个或者多个参与者

控制妥协参与者的本地训练数据

控制当地训练程序或者参数

在模型提交前修改模型的权重

值得注意的是，在联邦学习架构下，
攻击者无法操控聚合机制，
也不会干预正常参与者的训练过程。
值得注意的是，
毒性攻击集中对关键数据进行操控，
而相比之下，
在联邦学习架构下，
攻击者的影响力仅限于少数参与者完成全部模型更新任务。

（2） 攻击的目标

传统毒性攻击在于在大部分输入空间改变模型的表现

• 全局模型必须同时在主任务与后门任务上保持高准确率
  • 攻击者的更新不应被其他人当作异常出现，并且不会提示异常
  • 全局模型经过攻击后，在多个轮次中都能保持后门的高准确率

（3） 构建攻击模型

基础方法中采用了一种新的策略来处理数据增强问题。通过调节本地学习率与批量大小来进行最大程度地适应于含有后端对抗样本的数据集。这种方法存在根本缺陷在于它会导致模型在长时间使用中逐渐遗忘这些对抗样本。这里的理解是当你向计算机指出一张标有绿色汽车但被错误分类为鸟的图片时——这只是一次说明——随着时间推移计算机会逐渐忘记。

模型替代，用攻击者想得到的模型x替代模型Gt+1

在这部分中，在从1到m的局部模型中存在一个由攻击者控制的情况。根据公式（1），我们可以计算出攻击者应生成本地模型的数量，并发现无法通过已知参数确定n和η以提升准确率。进而评估该模型在后门攻击中的准确性，并据此调整策略。所以这里讲的是单一攻击即仅进行一次攻击测试。

（4）逃避异常检测 基于安全的聚合技术进行研究发现，在没有明确指示的情况下无法有效识别聚合后的模型是否为后门模型，并且无法确定具体的模型提交者是谁。

通过约束与调整参数设置，构建一个模型满足以下两个条件：其一，在主任务与后门任务中均保持较高的准确率；其二，能够抵御聚合器的异常检测机制。

涉及限制与缩放机制的算法设计中包含了两个关键组件：第一个是全局模型架构；第二个则是定义损失函数的部分。其中损失函数的形式上有差异：Lclass用于评估正常任务与后门任务的分类精度；而Lano则用于进行各类异常检测的任务（例如，在权重系数或其他参数中使用p-norm距离作为度量标准）。此外，在超参数调节过程中需要注意的是：超参数控制了模型对异常检测机制的关注程度。为了实现X模型在主任务与后门任务上均达到高精度目标，在优化过程中采用了逐步衰减的学习率策略（即lradv = lradv / step），并通过调整学习率衰减率来缓解模型对后门类别的遗忘问题。

训练模型并进行数据缩放。如果异常检测机制仅关注权重参数的变化，则可简化相关处理流程。攻击者仅需将参数限制在边界区域S内。

在该基于加权的异常检测机制中，在训练与扩展方面相较于传统的限制与扩展方法表现更为突出。

三 实验分析

实验分析

第二个实证研究关注于词语预测任务。该任务因其动机强烈而被归类为联邦性质的联邦学习任务。由于这些数据（如用户的输入内容及使用的设备）涉及个人隐私信息而无法集中管理。为了保证系统的安全性与可操作性我们采用了多层级的安全机制来保护敏感信息。假设每个Reddit账户被视为独立的参与者。为了确保训练数据的质量与代表性我们采用动态阈值的方式对参与者的活动频率进行监控并剔除异常数据点。具体而言我们筛选出参与度在150至500之间的Reddit账户共计83个。在此过程中我们将词汇局限于训练数据中高频出现的前5万个词以减少计算负担并提高模型效率。值得注意的是这种限制不会影响到模型的学习效果因为这些高频词足以覆盖大部分实际应用场景中的使用情况。此外为了增强模型的安全性我们在训练过程中采用了多轮验证机制以确保模型不会过度拟合特定的数据分布模式。在这种双重保障下我们的模型不仅能够实现高效的文本分类还能够在面对潜在攻击时保持较高的抗干扰能力

（2） 实验结果分析

首先聚焦于图A与图C，在第5轮攻击后观察到两种模式下后门攻击的成功率达到了100%，随后却逐步下降。值得注意的是，在主任务上的准确性并未受到任何负面影响。具体而言，在这两幅图表中可以看到一条基准线（即数据中毒情况下的后门失效），其准确性基本维持在零水平。从图A可以看出不同类型的输入数据在遭受后门攻击时表现出不同的存活周期：作者推测绿色汽车的数据更接近于良性参与者的样本，并因此更容易被覆盖并存活下来；而第二个实验则显示不同类型的输入数据在遭受后门攻击时表现出不同的存活周期：这是因为它们更容易被良性参与者的数据所覆盖并存活下来。换句话说，在不发生误报的情况下两者都有可能成功存活较长时间：这取决于它们是否会被覆盖到足够的次数以避免被检测出来。
从图表中可以看出，在两次实验中都出现了两个阶段性的变化：初始阶段成功率短暂下降而后又逐步回升。对此作者认为这可能源于两个因素：第一种因素是模型空间中存在的非凸性问题；第二种因素则是攻击者采用较低的学习速率来寻找一个与当前全局模型较为接近但又带有隐藏后门参数的新模型。
前面所讨论的内容仅限于单一攻击场景；而在重复攻击模式下（如图B与D所示）则显示出一种新的现象模式：模板替换策略能够在控制约1%参与者的情况下实现与控制20%参与者相同效果的操作

四 实验延伸思考

在实验一中语义后门攻击和像素模型后门攻击的效果是一样的，

更晚攻击效果跟好

通过查看图b可知，在机器学习模型中发现，在前期训练过程中（即初始阶段），全局模型是被所有参与者共同使用的，并且其更新机制（即 Lt i+1-Gt）具有显著的优势。

改变缩放因子

在之前的分析中，在该式中将γ定义为η/n的比值（即γ = η/n），当γ值增大时，在时间步t+1处生成的消息Lm与整体模型Gt之间的差异显著扩大；这将使检测机制更容易识别出此类恶意行为

从图上可以看出，当γ=100的时候后门攻击的准确率达到100%.

后门攻击呈现出异常程度较高特点，在这一实验中涉及到的句子会体现出各自独特性。其中更容易表现出良好效果的目标词语与引发关注的相关短语相比，在实验结果中展现出更好的性能表现。值得注意的是这些非目标表达式可能不容易被常规数据集所捕捉到因此其生存时间和准确性表现更为突出而那些被广泛使用的常见术语则可能在其训练周期内拥有更持久的表现

五 总结

研发出一种新型后门攻击手段，并在两个关键的标准联邦学习场景中实现了有效性验证。联合学习可被视为机器学习的一种分布式实施方式。因此，在任何潜在攻击者面前必须具备强大的防御能力。如何构建稳健的安全联邦学习机制成为一个亟待解决的关键技术难题。