FEDGKD: Toward Heterogeneous Federated Learning via Global Knowledge Distillation

文章目录

• Introduction
• Background and Motivation
• Proposed FedGKD

全局模型收敛性能下降 —> 全局模型训练效果欠佳 —>
该方法通过整合历史全局模型的知识来辅助本地训练，
有效缓解了“客户端漂移”现象。
其中，
该方法基于全局教师模块进行本地优化，
各个客户端采用自适应的知识提取机制从历史的全球教师中获取所需信息。

Introduction

阐述了联邦学习的相关背景知识，并将其两大核心问题定位为数据异构性和客户端不可靠

• 由于non-iid ，每个客户端的局部训练目标值可能不同。即使每一轮沟通都从相同的全局模型开始，客户的局部模型也会向其局部目标的最小值漂移，因此聚合的全局模型可能不是全局目标的最优值。这种“客户端漂移”现象不仅降低了性能，而且增加了通信轮数。因此，需要显式地处理非iid问题。

• 客户端不可靠性是指由于参与设备的硬件资源有限，每一轮通信中只有一小部分客户端参与[1]。低参与率加剧了非iid问题的影响，导致全局模型在FL中的表现不佳
  解决non-iid的方案：

  • （1）第一类工作通过改进模型聚合方案来解决这个问题。具体而言，借助未标记的代理数据集，FedDF 等 [13]、[14] 采用集成知识提炼来丰富全局模型。然而，对代理数据的需求限制了它在实际 FL 场景中的部署。此外，这些方法不能完全解决客户端漂移问题，因为它们只改进了全局模型。
  • （2）第二类工作通过规范局部训练来解决这个问题。具体而言，SCAFFOLD [11]、FedProx [15] 和 FedDyn [16] 要求本地客户端的模型在参数空间中不能离全局模型太远，这在某些 FL 场景中可能无法有效发挥作用[5]。 FedDistill [17]、FedGen [18] 和 MOON [19] 通过要求本地模型和全局模型之间提取的特征（logits）相似来对特征空间中的训练进行正则化。 然而，FedDistill 需要将客户端的 logits 共享给服务器，而 FedGen 需要共享客户端的标签计数，这会导致隐私泄露的风险。MOON 建议使用对比损失进行正则化，但这需要修改模型的结构。我们在表一中总结了上述方法的局限性

FedGKD被提出，并基于知识蒸馏和自集成机制[20,21]旨在解决特征空间中的客户端漂移问题。FEDGKD在每个通信回合中通过平均模型参数整合服务器缓冲区的历史全局模型。随后，在客户端传播整合后的全局模型，并将其作为指导教师参与本地知识蒸馏过程。我们开发了FEDGKD-VOTE方法，在客户端传播服务器缓冲区中的历史全局模型，并将其预测结果纳入考量。这种自蒸馏机制已成功应用于标签平滑技术和提升模型泛化能力的研究领域[22]。

• 我们提出了一种集成知识蒸馏方法，在迁移历史全局模型信息至本地模型训练过程中实现了无需改动原有结构而在特征空间内对本地模型进行规范化处理。
• 我们提出了一种通用而简便的联邦知识蒸馏方案FEDGKD。该方案无需额外的数据交互或中间实体的介入即可实现目标准确度。它不仅支持多种隐私保护机制并与其良好兼容；同时支持多种聚合方案并与其良好正交；其计算开销与经典联邦学习框架FedAvg相当；但相比现有技术，在通信效率方面具有显著优势。

Background and Motivation

介绍FL和KD以及动机

Proposed FedGKD

我们在图 4 和算法 1 中对 FEDGKD 方法进行了介绍。我们的主要目标是通过提取和组装生成的全局模型来实现全面的表示能力，并以此解决局部模型漂移的问题。为此，在客户端-服务器架构中实现了 FEDGKD 方法。在每一轮通信期间，服务器从众多客户端中选择少量参与者，并将聚合后的全局知识传递给被选中的客户端（步骤 1）。在此过程中，我们开发了两个版本的 FEDGKD 方法，在后续章节中将详细阐述它们之间的差异所在。客户端接收到全局知识后利用其进行本地训练操作（步骤 2）。为了规范客户本地训练过程以解决漂移问题，我们采用了知识蒸馏机制来进行指导。随后，在本地模型训练完成后（步骤 3），客户端将其上传至服务器处，并被整合到服务器缓冲区的历史全局模型集合中（步骤 4）。这些历史全局模型被视为共同的知识来源，并通过聚合形成完整的知识体系以便深入理解数据分布特征。值得注意的是，在缓冲区大小设定为1的情况下，默认情况下仅能基于选定客户端所持数据集实现良好性能的全球模型构建