扫读 | Towards Personalized Federated Learning
arxiv:2103.00710 传送门
概述个性化联邦学习（Personalized FL, PFL）的发展现状。该领域近年来取得了显著进展，在理论研究和技术实现方面均取得突破性成果。然而，在实际应用中仍面临诸多技术挑战，并对现有 FL 框架体系尚显有限的情况下展开深入探讨。未来的研究方向包括探索标准化评估框架以及具备安全性和可靠性的 PFL 研究路径。
]
【
在隐私保护方面仍存在严格的技术要求。
现有 FL 框架体系尚显有限，
其中一些方法允许本地数据集或元数据的相关信息进行共享，
但这些方案往往无法充分代表整体分布特征，
有的假设可以用能代表整体分布的代理数据集，
这种假设在实际应用中往往难以满足需求。
该方案是一种基于数据的方法，在实施过程中通常需要共享一部分数据以实现功能。其核心目标是消除数据分布上的统计异构性，在客户节点选择时采用本地更新的梯度，并将其与服务器代理的数据集上的梯度进行对比。
-
基于模型的方法
- 单一架构下的参数联邦学习（PFL）方案
-
该方法提供了一个可替代的初始化策略，并支持任务相关且具备隐私保护特性的本地表示方案
-
作为一种重要的机器学习范式——元学习
-
参数解耦策略通常包括两种主要实现方式：一种是将嵌入层设为保密参数；另一种是将特征提取层作为隐私层，并专注于联邦学习其余的网络结构。
-
多模型PFL方法 * 该系统采用多模型策略，在节点聚类过程中，默认情况下每个类别都会维护一个独立的模型。相较于传统方法而言，在计算资源和通信效率方面存在显著提升。
-
N-模型PFL方法
-
多任务学习方法往往基于任务间的关联性
-
通过惩罚项约束各节点模型与平均结果的高度一致性
-
迁移学习是一种将知识从一个领域迁移到另一个领域的技术
-
将模型分为基线层和个性化层，并通过惩罚项确保各节点模型与平均结果高度一致
-
此基线层的作用与后续的特征提取层及分类层有何不同？
-
未来发展方向
- 客户端数据的分布情况分析
- 数据聚合处理：采用平均值匹配策略
- 系统具备空间适应能力：能够处理新增节点、断开连接及stragglers等问题
- 系统应对时间变化的能力体现在对非静态数据的处理上
