联邦元学习综述

联邦元学习综述

张传尧1,2, 司世景1, 王健宗1，肖京1

1 平安科技（深圳）有限公司，广东 深圳 518063

2 中国科学技术大学，安徽 合肥 230026

摘要

关键词**：** 联邦学习 ; 元学习 ; 数据异构 ; 联邦元学习 ; 隐私保护

论文引用格式：

张传尧, 司世景, 王健宗, 等. 联邦元学习综述[J]. 大数据, 2023, 9(2): 122-146.

ZHANG C Y, SI S J, WANG J Z, et al. Federated meta approach: a review[J]. Big Data Research, 2023, 9(2): 122-146.

0 引言

移动设备的普及带来了持续增长的数据量，在这一背景下如何高效利用这些数据成为研究的重点之一。受隐私政策的约束，许多数据难以直接获取，在不同领域间存在隔离现象而形成独立的数据孤岛。为了突破这一限制，在现有技术条件下如何构建连接各孤立平台的数据桥梁则成为一个难题。联邦学习方法成为解决这一挑战的重要途径。

联邦学习在满足一系列数据隐私保护措施（如隐私保护协议）、保障数据安全（Data security）以及遵循政府法规的前提下（comply with government regulations），开展数据分析与建模工作（analyze and develop data for model training）。这一过程具体表现为：即通过仅在各节点之间传递模型参数（which involves only transmitting model parameters between nodes），而不分享任何节点内部的数据（without sharing node-level data），来进行一个统一的数据模型训练（train a unified data model）。
许多早期的研究致力于在一个封闭的环境下分析和利用分布在不同所有者手中的分散式数据（data held by different owners）。早在20世纪80年代起就开始对加密计算的研究（initiated in the early 1980s）, 直到2016年谷歌研究院正式将这一概念命名为"联邦学习"（introduced the term "federated learning" by Google Research in 2016）, 才使得分布式数据分析与隐私保护研究开始系统化地开展起来。如今, 联邦学习已成为解决分布式数据分析中的隐私保护难题的重要工具。

在传统的机器学习方法中，默认情况下都需要使用大量标注数据来进行模型训练以获得较好的性能表现。以神经网络为例，在实际应用中往往需要依赖大量高质量标注样本来进行模型训练以便实现精准分类效果然而在某些特定场景下标注数据获取可能会面临巨大挑战特别是在数据稀缺的情况下即使拥有少量样本也无法有效支撑复杂的模型训练过程在这种情况下人类能够通过少量具有代表性的图片快速掌握某一类事物的本质特征这种能力对应于机器学习领域中的元学习概念即通过极简数据实现快速知识获取与迁移的能力元学习的目标是构建一个能够从有限数据中高效适应新任务的学习系统其核心机制主要包括两部分基础学习者与元学习者基础学习者专注于解决单一具体任务其显著特点是仅依赖一小批标记样本来完成训练而元学习者则通过聚合多个基础学习者的经验来提升整体系统的泛化能力与适应性一般而言元学习系统应具备以下三个主要特征：拥有独立的基础知识积累模块；具备基于经验动态调整的学习策略；能够在不同任务之间实现无缝的知识迁移

早期的研究工作主要集中在教育科学相关领域,专注于调控自身的认知状态。随着机器学习技术的进步,元学习开始应用于机器 learning 领域。元 learning 的第一个实例可追溯至 20 世纪 80 年代,相关文献提出了一种探讨如何根据特定条件动态调节 learning 算法归纳偏差,从而影响其假设空间中的元素排列顺序的框架性方法。相关文献进一步提出了一种包含两个嵌套的学习层结构的方法框架。这种技术能够整合多领域的经验,以适应基础假设空间的变化

考虑联邦学习在解决异构数据训练需求方面表现出色的同时，在多任务模型中展现出良好性能的元学习技术被用来训练一个定制化的联邦学习算法成为一种可行的选择。传统的联邦学习主要通过不同节点协同训练一个统一的全局模型这一单一模式存在局限性：由于其统一性无法有效应对数据分布不一致的问题。而元联邦学习则分别对不同节点进行针对性的数据模型训练这一分层架构能够精准识别客户端间的资源分配差异从而特别适用于解决联邦学习下的资源分配不平衡问题

1 联邦学习简介

1.1 问题定义

联邦学习在满足数据隐私要求、保障信息安全、符合法律法规的前提下，在各参与方之间利用数据进行建模与应用。该方法通过仅传输模型参数而不共享节点间数据的方式训练一个统一的数据模型。无需共享各节点的数据信息，各节点仅传输模型参数以保护隐私安全。

我们定义了 n 个不同的数据持有者集合{F₁, F₂, …, F_n}。每个数据持有者 F_i 的本地目标由函数 F_i(ω) 表示，并且每个持卡人都管理着独立的数据集 {D₁, D₂, …, D_n}。这些数据将被用来训练一个机器学习模型。传统的机器学习方法通过聚合所有训练数据 D = D₁ ∪ D₂ ∪ … ∪ Dₙ 来训练一个全局模型 ω_sum。在联邦学习框架中，服务器端应用聚合函数 G(·) 来汇总来自各个客户端的模型参数。各个客户端在保护隐私的同时协作训练一个共享模型 ω_fed。

在通常情况下的默认设置下，“模型 ω_fed 的精度 v_fed 应尽量使其与模型 ω_sum 的高度一致；当且仅当存在非负实数 δ 满足式（2）时：

则称联邦学习算法具有δ精度损失。

1.2 联邦学习的训练过程

在联邦学习领域研究不断推进中,出现了多种联邦学习框架,其中以微众银行为例的应用实例中使用了以下三种典型的学习模式:横向 federal 学习,纵向 federal 学习以及 federated 迁移式学习.基于现有的开源工具包(如 PySyft, FFL-ERL 等),虽然它们在支持的场景上有所差异,但其共同的主要训练流程均可分解为四个关键步骤.具体而言:第一步,中心服务器会将最新的模型参数下发至各个数据节点;第二步,每个数据节点利用自身本地的数据集进行模型优化更新;第三步,各参与节点完成优化后的参数更新后,需通过加密的方式将参数传输回中心服务器进行聚合;最后一步,中心服务器汇总所有节点反馈回来的更新信息后,生成新的模型参数并将其下发至各个数据节点.这一完整的训练流程如图 1 所示展示了整个过程.

图1 联邦学习训练过程

1.3 联邦学习特点

在方法论上存在显著差异的具体方面已由表1详细说明。由于联邦学习采用的是分布式计算环境，在实际应用中各节点的数据分布可能存在差异性特征，在这种情况下各个节点的数据属性也难以相互代表整体数据集的特点。受限于网络通信速率的影响，在提升各设备之间通信效率的同时也需要应对可能出现的问题以维持系统的稳定运行状态。隐私保护作为联邦学习的基本技术保障，在系统设计阶段就需要充分考虑如何平衡各方利益以实现资源的安全共享机制。

1.3.1 数据隐私保护

隐私特性是联邦学习的核心特征，在未采取充分的数据隐私保护措施的情况下，该技术体系将难以维持其可靠性保障功能；由于各独立数据集之间存在互不信任的状态，在实际应用中很难实现资源方间的协作参与与共享机制；在参数更新环节各参与方需依次交换中间运算结果，在这一过程中各方参与者更容易成为潜在的安全威胁；采用加密机制下的参数传递方式虽然能够有效防止敏感信息泄露但可能因引入额外的安全层而增加系统运行开销；另一种常用的安全防护手段是基于差分隐私机制的数据处理方法通过向原始数据集中注入适当扰动项来模糊真实数据特征从而防止敏感信息被推断出来；值得注意的是这种防护策略虽然能在一定程度上平衡信息泄露风险与模型训练精度之间的关系但在实际应用中仍需权衡两者的最优配置比例以确保系统的整体效能得到保障；

1.3.2 数据非独立同分布

身份、性格以及环境的差异会引起由用户生成的数据集之间存在较大的差异性。训练样本并非在不同的数据节点间呈现均匀随机分布的状态。这种数据分布不均衡的问题可能导致模型在各台设备上的性能产生显著差距。因此，在开展联邦学习之前，如何选择合适的数据显示策略进行数据处理显得尤为重要。解决联邦学习中所面临的非独立同分布数据挑战主要可以从两个方面入手：一方面通过优化模型聚合的方法来降低由于数据不平衡而产生的负面影响；另一方面则可以通过改进本地模型更新机制来解决联邦学习中所面临的统计学难题。参考文献中提出了一种基于迭代模型平均的深层网络联合学习方法，在该方法下能够实现对非独立同分布问题的有效应对能力是较为稳健的解决方案。研究者建议采用各设备类别分布与人口分布间的地球移动距离来进行衡量不同数据集之间的异质性，并通过构建一个全局共享的数据子集来提升对非独立同分布数据的学习效果

1.3.3 通信环境受限

在联邦学习中，由于中心服务器与计算节点之间的物理距离较远而导致通信成本较高，并受计算节点环境的不稳定性影响，随时可能出现客户端加入或退出的情形。因此，在实际应用中通常情况下，在网络环境稳定且计算节点空闲的状态下进行联邦学习更为适宜。通信成本已成为制约联邦训练的主要因素之一，因此如何优化设备间的通信压缩方案成为一个值得深入研究的问题。具体而言可以通过优化客户端向服务器传输的数据量、精简服务器向客户端发送的模型规模以及促进本地模型直接从全局模型出发进行微调等措施来降低对通信链路的需求。参考文献中提出两种有效的上行链路通信压缩方法：结构化更新（Structured Updates）和草图更新（Sketch Updates）。其中一种方法是结构化更新（Structured Updates），它通过在受限空间内利用低秩或随机掩码来优化更新过程；另一种则是草图更新（Sketch Updates），该方法先执行模型更新后再对数据进行量化、随机旋转和二次采样压缩处理以实现更高效的通信资源利用。

1.4 联邦学习算法

联邦学习的更新过程主要包含服务器端更新与客户端更新两个方面；基于改进阶段的不同特点以及优化需求的不同特性，在算法层面可以将联邦学习算法归纳为两大类：一类是以服务器端聚合方法为基础进行优化设计的算法；另一类则是侧重于从客户端层面进行优化改进的算法。

1.4.1 基于服务器端聚合方法优化的算法

基于客户端参数的聚合机制是联邦学习的核心过程之一

1.4.2 基于客户端优化的算法

由于不同客户端的数据呈现非-IID特性且无法实现数据交互，在本地训练模型时客户端无法获取其他客户端的信息。这可能导致各参与方模型更新方向因本地数据分布差异而产生较大分歧。为此可以通过引入全局模型信息来约束本地模型更新方向从而平衡个性化与一致性要求。研究者在此基础上扩展联邦平均算法提出了FedProx新算法该方法规定客户端拥有局部损失函数并采用基于前一步权重的二次惩罚项进行正则化处理以适应数据异构环境下的优化需求这一思路受早期迁移学习研究启发但仍有较大改进空间

联邦学习算法分类见表2。

2 元学习介绍

2.1 元学习定义

准确界定元学习的具体形式化定义并非易事。通常而言，在元学习中所指的即为掌握如何进行自主性地获取知识的能力。为此目的而设计的一种机制旨在训练出一种通用的学习机制——它能够在面对各种新任务时展现出良好的适应性能力。这种机制的核心优势在于其能够通过不断积累的经验来提升处理复杂问题的能力——其研究重点就在于探索在不同领域背景下动态调整策略的可能性。

人类能够基于少数动物图像迅速掌握相关物种的概念；此对应于 minimalist few-shot learning (M-FSL, FSL) 桃况；此外，在无需视觉信息的情况下仅凭描述即可识别新的分类；元学习根据各类别支持样本数量的不同可划分为以下三类：单次观察（one-shot）、k次观察（k-shot）以及零观察（zero-shot）。

元学习一般训练过程如图2所示。首先在训练集上采样构建不同的任务

（由支持集 S_i 和查询集 Q_i 构成），该模型通过在支持集 S_i 上进行参数优化来实现对应该任务的目标。

中间参数模型 ϕ_i 在查询集 Q_i 上应用来计算损失函数 L_i，并最小化各任务损失函数值之和以生成基础模型 ϕ。接着，在测试集上依次完成各项评估指标。

基于支持的数据集进行简短的梯度下降步骤即可获得新的模型 ϕ′ ，以便适应新的任务。最终，在测试集上评估该模型。

测试模型 ϕ′ 在查询集上的表现如何？目的是为了使机器能够通过旧知识高效地从旧知识中学习新知识。

**

**

图2 元学习一般训练过程

2.2 元学习分类

传统的机器学习旨在通过让计算机识别事物间的差异来区分不同类别的事物。而元学习的目标则是指导计算机利用已有的知识快速适应新的知识，并具备识别新型物体的能力。通常根据是否具有标注数据的信息可以将元学习划分为监督型和非监督型两类。如图3所示。

图3 元学习分类

2.2.1 无监督元学习方法

在无标签训练数据的情况下，在线元学习通常会通过显式的方式自动构建数据集，并利用虚标签的方法将元学习转化为常规的学习方式以提高效率。参考文献[38]提出了一种解决训练数据无标签问题的方法：该方法先对未标注的数据进行处理以获取特征表示器然后基于聚类算法对未标注的数据进行分类并将分类结果作为伪标签输入到后续模型中以实现自适应的学习过程与之不同的是另一种名为UMTRA的方法它采用了端到端的学习策略具体而言：该方法通过应用图像增强技术对每个图片生成一个增强版本的数据样本并将原始图片作为支撑集中的基础样本而增强后的图片则构成查询集从而形成N类单镜头（N-way-1-shot）任务结构这一设计使得UMTRA无需依赖人工标注便能直接从未标注图像集中提取有用特征并通过对比机制优化分类性能最终实现在未标注图像集上的分类准确度已非常接近有标注场景下MAML模型的表现

2.2.2 监督元学习方法

监督元学习致力于利用有限的数据信息来提升适应新任务的能力。从算法分类的角度来看，在现有的研究中主要可将监督元学习的方法归纳为以下五种类型：依赖优化器的技术、利用记忆库的学习方法、基础层面的泛化模型构建、度量空间的学习方法以及数据增强技术的应用。

（1）基于优化器的方法

该方法旨在训练出更高效的优化器以加速学习过程

（2）基于记忆存储的方法

先验知识在后续任务中扮演着关键角色，在元学习过程中具有不可替代的作用。

（3）基于基础泛化模型的方法

以基础泛化模型为基础的方法目标是训练出一种能够在新任务中快速适应的模型；当系统面临新任务时只需经过少量梯度下降步骤即可实现快速适应这一目标；文献中提出了一种与模型无关的MAML算法；该算法的核心在于优化初始参数使其能够高效地适应各类新任务；具体而言当遇到新的学习任务时系统只需利用极少量样本通过简单迭代的梯度下降过程就能获得适合该特定任务的参数配置；文献详细描述了MAML算法的具体实现过程并展示了其在实践中的应用效果；然而原始MAML算法由于涉及二阶求导运算导致计算复杂度较高为此文献提出了改进方案；通过推导外循环梯度解析式iMAML算法成功解决了传统MAML算法中存在的多步梯度消失内循环存储以及高阶求导等问题；在此基础上进化策略被引入到MAML框架中从而进一步提升了系统的性能效率；随后ES-MAML算法通过采用确定性策略避免了随机策略带来的反向传播问题显著降低了计算开销；最后Reptile算法通过简化两次求导运算将整个优化过程压缩为一次迭代从而实现了计算效率的提升并显著降低了资源消耗；此外LEO算法则通过编码器与关系网络构建了一个高效的特征提取体系能够在内循环阶段直接更新低维特征表示并通过解码器生成相应的概率分布实现参数优化

以基础泛化模型为基础的方法目标是训练出一种能够在新任务中快速适应的模型；当系统面临新任务时只需经过少量梯度下降步骤即可实现快速适应这一目标；文献中提出了一种与模型无关的MAML算法；该算法的核心在于优化初始参数使其能够高效地适应各类新任务；具体而言当遇到新的学习任务时系统只需利用极少量样本通过简单迭代的梯度下降过程就能获得适合该特定任务的参数配置；文献详细描述了MAML算法的具体实现过程并展示了其在实践中的应用效果；然而原始MAML算法由于涉及二阶求导运算导致计算复杂度较高为此文献提出了改进方案

图4 MAML算法训练过程

（4）基于度量学习的方法

基于度量学习的方法旨在生成一个特征提取模块, 该模块能够有效识别并分类特征空间中的样本差异. 参考文献提出了一种元评价（meta-critic）架构, 该架构由两个关键组件构成: 核心价值网络（meta value network）和任务行为编码器（task-actor encoder）. 其中, 任务行为编码器负责根据任务需求动态调整模型参数, 而核心价值网络则用于评估当前任务的表现. 在监督学习过程中, 采用任务编码机制通过批评网络引导目标模型对训练目标进行监督学习, 而不是直接合成其权重参数. 匹配网络则通过计算样本间相似度来实现分类功能. 具体而言, 原型网络的工作流程如图5所示: 对输入样本进行特征提取后, 将每个类别对应的特征均值向量作为该类别的 prototype 表示; 然后根据样本到各类 prototype 的距离确定其所属类别. 相似的匹配网络、 prototype 网络以及孪生网络等方法均基于计算样本间距离来进行分类判定. 不同的是, 关系网络首次提出了一种新的思路: 它利用神经网络计算样本间的匹配程度. 具体来说, 首先对查询集与支持集中的样本分别进行特征提取; 然后将两者的特征进行拼接处理; 最后将拼接后的特征输入神经网络进行关系预测, 得出相应的匹配得分

图5 原型网络示意图

（5）基于数据增强的方法

元学习在小样本分类问题中的主要挑战源于训练数据量不足的问题，在这种情况下采用多样化的数据增强手段以扩展训练集成为一种可行的选择策略。研究者提出了一种分离光照网络（separating-illumination network, Sill-Net），该网络能够通过分离图像中的光照特征来提升训练样本的质量，并进一步在特征空间中应用此网络以减弱光照影响的方法达到了更好的效果。研究者构建了一个统一的元数据增强框架，并在此框架下对现有增强策略进行了深入解析与理论支撑。研究者提出了一种基于任务感知的数据增强策略（sample aware data augmentation policy, MetaAugment），该策略通过神经网络捕捉样本间的差异性特征来评估不同数据增强方法的有效性并实现了自适应的数据增强过程。研究者针对少样本学习问题提出了一个简洁通用的方法——基于对抗生成模型的少样本学习算法（anadversarial approach to few-shot learning, MetaGAN）。该算法引入了以任务条件为基础的设计理念，在生成器中实现了对真实样例分布的学习目标从而能够在不增加复杂度的情况下实现高质量的数据合成能力。研究者将这一技术与小样本分类问题相结合提出了一个新的元学习框架——数据增强元学习（meta-learning with data augmentation, MEDA）。该框架采用球状生成器的方式实现了新的数据样本生成过程：首先利用生成器计算支持集样本所形成的最小包围球；随后在球体内随机采样合成新的训练实例从而显著提升了模型的泛化能力。

监督元学习分类见表3。

3 联邦元学习介绍

3.1 联邦元学习定义

在分布式机器学习框架中，在线监督学习系统通过一种称为元学习的技术，在线生成针对不同客户端的独特模型。这些模型能够显著减少在不同客户端上表现出的不同特性带来的负面影响，并通过优化公平性指标来提升整体性能。这种技术被称为联邦元学习算法。其核心在于从先前的任务中提取可迁移的知识以构建一个优异的初始模型，并在此基础上快速适应新的任务需求。该方法凭借其快速适应新任务的能力特别适用于解决分布不一致的数据集问题：将各个客户端视为独立的任务并训练一个优异的初始模型；该模型可以在几个简单的梯度下降步骤后迅速适应新的任务环境并维持高准确率水平。此外该方法还具有良好的抗过拟合能力从而能够在动态变化的工作负载下持续提供高质量的服务结果：与传统的集中式元学习方法不同它运行于分布式数据环境中避免了数据集中化的问题并且能够更好地应对不稳定的客户端连接状况

3.2 联邦元学习算法分类

通过整合不同客户端的数据进行全局模型的协同训练是联邦学习的核心目标，并且确保各参与方数据隐私的安全性。相比于仅依赖单个客户端本地数据建立的model而言,综合运用多端用户data能够显著提升系统的性能,在分布式架构下,由于地理分布和文化背景等因素的影响以及各参与方可能面临的不同环境条件和文化习俗,各参与方之间的本地data呈现显著差异,并且这些data呈现出non-independent and non-identical distribution的特点.因此需要构建multi-task customized multi-end collaborative mechanism以满足多样化的实际需求

① 制定差异化的个性化模型方案以满足不同用户的需求是一个关键问题。在联邦学习体系中实施严格的隐私保护机制后发现, 服务器无法无 restriction 检索客户端传输的数据, 因此联邦学习系统更容易遭受恶意攻击的影响而无法正常运行。
② 增强联邦学习系统在面对恶意攻击时的抗干扰能力并加强其隐私数据保护功能同样是关键任务之一。相比于传统的集中式中心化训练模式, 联邦学习系统的优势在于其多节点异构环境下的分布式运算特性: 各节点设备性能参差不齐, 相互之间的通信信道带宽有限, 同一终端的计算资源运行时间和电池电量均处于受限状态。
③ 制定科学合理的一致资源分配方案以平衡各节点设备性能并提升通信效率及收敛速度同样是一项关键任务。图6展示了典型的联邦元学习算法分类架构。

图6 联邦元学习算法分类

本节我们从以下三个关键问题出发,系统阐述近年来联邦元学习在相关领域取得的重要进展:第一,运用联邦元学习技术来定制化模型以适应不同用户的需求,从而有效解决数据异构带来的挑战;第二,通过联邦元学习实现资源分配的优化,既提高了通信效率又加快了收敛速度;第三,采用元学习算法来提升系统的抗干扰能力,确保在面对恶意攻击时仍能保持良好的性能表现。

3.2.1 面向数据异构的联邦元学习算法

（1）FedMeta算法

联邦学习体系中面临的统计学难题与系统性挑战构成了制约其发展的两大类核心问题。研究表明，在联邦学习场景中具有快速适应新型任务能力且具备良好泛化性能的能力使元学习技术特别适合这一应用环境。本文提出了一种名为FedMeta（federated metalearning）的联邦元学习算法。FedMeta框架将客户端视为独立的任务目标是通过元学习者逐步优化形成一个基础模型而非追求全局最优解 FedMeta框架采用共享型式的方法替代传统的全局模型共享机制 这种设计能够有效促进各类别元学习算法在联邦系统中的兼容性与适应性 在多节点协同下 FedMeta框架实现了对各节点特定任务的支持与服务 在中心服务器处整合所有节点数据资源进行参数初始化与更新工作 通过这种方式 将元学习者的参数初始化过程及其更新流程集中管理 每个节点则负责从自身数据集中提取支撑集与查询集 根据支持集样本利用元学习者训练出一个个具个性化特征的子模型 最终实现联邦系统的整体优化目标

在数据集上评估meta-learner的学习能力。该框架支持更为灵活的参数化算法共享方案，并且既保护了客户端隐私也避免了将数据上传至服务器

（2）FedAvg-Reptile算法

同样基于经典元学习算法，
与FedMeta在各个客户端上采用MAML的不同，
参考文献提出，在简化联邦学习的约束条件并假设各客户端数据量相同时，
为了提升实际应用价值，
提供个性化以提高模型在不同数据集上的性能，
提供可靠初始化以确保初始化模型具有良好的稳定性，
实现快速收敛加快全局模型的收敛速度，
其中FedAvg算法能够生成具有个性化能力的模型，
该方案分为两个阶段：
首先运行联邦平均算法将其作为服务器优化器；
然后切换到Reptile算法将其作为服务器优化器来微调初始模型
以提供一个稳定的个性化初始模型
同时也能保持一个稳定的个性化模型；
最后使用相同的客户端优化器进行个性化优化。
实验结果表明
该方法相较于其他优化器表现出更好的性能。
该方法与其他联邦元学习算法最大的不同在于
它将元学习作为一个微调阶段放置于联邦学习之后
而不是将元学习作为联邦学习的一部分融入整个过程。

（3）Per-FedAvg算法

参考文献提出了一种增强型联邦平均算法：个性化联邦平均算法（Personalized Federated Averaging Learning, Per-FedAvg）。通过元学习技术寻找到能够迅速适应各类客户端需求的共享全局模型。经过几轮迭代就能展现出良好的性能水平。相比之下，在采用相同技术路线的情况下，在 FedMeta 算法的基础上进行了深入研究。本研究则侧重于探讨 MAML 算法在联邦学习环境中的收敛特性，并通过改进的方式提供了具有可靠收敛性的解决方案来应对非凸函数问题。传统的联邦学习中，

作为不同用户i的损失函数。则联邦学习的目标如式（3）所示：

参考文献中借鉴了MAML算法的思想：
考虑到每个用户应具有相同的初始起点。
期望通过自身损失函数的多个梯度下降步骤来优化初始点位置。
将问题③重新表述为式（4）的形式。

参考联邦平均算法的优化机制

（4）q-MAML算法

公平性在机器学习模型中是一个关键问题，在传统的机器学习框架中通常通过比较不同设备上的测试准确度来评估公平性。然而，在联邦学习场景下存在大量设备时，精确获取每个设备的测试准确度极为复杂且耗资源。现有研究主要通过引入异类误分类机制来优化模型性能，并在小规模网络环境中进行验证。然而这种方法仅针对性能表现最差的组别进行优化，并未充分考虑全局平衡。针对这一局限性，在现有研究基础上借鉴无线网络中的公平资源分配方案思想，提出了一种q-公平联邦学习算法（qFFL）。该算法通过最小化一种聚合加权损失函数的形式，在综合考虑各参与方损失的基础上构建优化目标函数框架，在保证较高模型整体性能的同时实现了各参与方之间的均衡发展。具体而言，在算法设计中通过调节参数q值可实现对模型整体性能与公平性的权衡调节策略。进一步地，在现有研究基础上将qFFL算法与流行的元学习算法MAML相结合创新性地提出了q-MAML算法框架。与传统MAML求解过程不同的是该算法采用了qFFL中的目标函数和权重更新机制来进行全局参数优化过程的构建和迭代更新工作流程设计。尽管该研究仅就元学习环境下的q-MAML算法进行了实验验证但考虑到联邦学习具有的多客户端特性以及元学习具有的多任务特性之间存在高度相似的情景特征因而所提出的方法具有很好的推广可行性并能有效应用于实际的联邦学习系统场景中

（5）ARUBA算法

参考文献综合运用了在线凸优化与序列预测算法的结合技术，在构建一个新的理论框架——平均后悔上限分析（average regret-upperbound analysis, ARUBA）的基础上形成了独特的研究体系。该框架将元学习视为一种逐步积累损失信息的过程。具体而言，在RUBA框架下引入了一种基于在线镜像下降法设计的正则化机制，在参数空间中动态识别需要更新的方向。这一机制采用了创新性的动态自适应学习率调节方法：一种无需预先设定步长的学习率调整策略，在实际应用中能够显著提高联邦学习模型的个性化能力

（6）PFL算法

参考文献指出一种基于梯度矫正的方法用于为每个边缘设备生成具有个性化特性的模型，并在此基础上构建了一种新型联邦学习方案。该方案通过在不同任务中关联各个客户端，在元学习阶段构建一个统一的模型架构，并动态调整各边缘设备的损失函数以消除元模型在不同用户群体中的偏差。该方案仅需经过微调即可快速适应新的任务类型。

（7）FedFomo算法

单一全局模型无法满足所有客户端的需求，在现有研究中不再仅依赖于单一同质化基准模型。研究者们基于客户端之间的相互作用关系,构建了一个动态协作机制,能够根据实时变化调整各参与方之间的互动权重,从而实现最优集成方案。该机制利用n个服务器级元学习器向各个客户端群组提供定制化的学习方案,最终达成全局最优配置目标。

（8）FedRECON算法

由于数据隐私与通信受限，在实际应用中客户端可能无法完整传输所有模型参数。例如，在深度学习系统中，默认情况下难以将专有嵌入模块的数据安全传输至服务器端。若将用户的嵌入向量直接传输给服务器，则可能泄露用户的个性化偏好信息。此外，在大规模分布式训练场景下，默认情况下基于统一全局模型的学习效果可能存在显著差异。针对上述问题，在现有研究中提出了一种联邦学习中的局部重构算法（federated reconstruction, FedRECON）。该算法通过将网络中的模型参数划分为全局共享部分与本地定制部分，并确保本地定制内容始终保留在客户端端以保护数据隐私性。随后通过元学习技术训练一个能够快速恢复本地特定参数的全球基础模型，并在客户端端利用该全球基础模型进行本地特定参数的重建工作。

3.2.2 面向资源挑战的联邦元学习算法

（1）NUFM算法

受限于联邦学习各节点间的通信限制，在实际应用中难以避免因通信链路而引发的一系列问题：包括通信效率低下以及模型收敛速度变慢等核心挑战。特别是在无线网络环境下如何合理分配可利用的通信频谱资源与设备电源能量同样面临重要挑战。现有技术在设备选择与资源分配上通常采用均匀策略而导致模型收敛速度显著下降。此外，在非均质场景下采用非均质性策略时由于联邦元学习框架内随机梯度存在偏差且不具备完整的高阶信息因此无法直接适用于此类复杂环境。基于此为了避免上述局限性参考文献提出了一种新型的非均质性设备选择方案NUFM（non-uniform device selection scheme federated meta learning）并通过相应的用户资源分配策略URAL（user selection and resource allocation）来实现对模型收敛速度的有效提升。

（2）ADMM-FedMeta算法

在联邦学习框架中，各节点的数据量存在显著差异且计算能力配置各有差异这种配置上的不均衡给联邦学习带来了诸多技术难题。针对这一技术难题研究者建议，在各边缘节点部署一个共享的元模型以协调协作训练方案。该方案将先前任务的关键特征提取为一种正则化机制并在此基础上设计了一种基于交替方向乘子法（Alternating Direction Method of Multipliers, ADMM）的分布式协同优化算法ADMM-FedMeta（Alternating Direction Method of Multipliers Based Federated Meta-Learning Algorithm）。其中ADMM提供了一种自然的分解方法将原始优化问题划分为多个子问题；同时通过引入一种非精确化的ADMM变体来降低计算复杂度至O(n)。

（3）EEFML算法

该算法（Model-Agnostic Meta-Learning Algorithm, MAML）表现出良好的收敛性和快速适应新任务的能力。然而，在其训练过程中需要付出较高的计算成本以完成梯度回传这一操作，并且高阶导数的求解可能导致梯度消失的问题出现。在联邦学习环境中应用这些方法时可能会导致客户端面临较高的计算资源消耗。尽管一阶近似方法（如一阶MAML（First-Order MAML, FOMAML）以及Reptile算法）能够有效降低二阶导数的计算负担，但这些方法均忽视了元模型对底层任务模型的影响。为此，文献中提出了一种节能联邦元学习（Energy-Efficient Federated Metalearning, EEFML）方法。该方法能够在较低的资源消耗下训练出一个高效稳定的元模型，并通过引入投影随机梯度上升（Projected Stochastic Gradient Ascent, P-SGA）机制实现了内部更新过程的简化表达——即仅需一个封闭形式的更新表达式即可替代传统双层循环中的内部更新步骤。具体而言，在外层优化过程中只需执行一次简单的SGD更新步骤即可完成内部参数的迭代优化，并无需进行海森矩阵相关的二阶导数求解运算。这种方法显著降低了整体计算开销的同时也提升了通信效率

（4）FedMeta w/UGA算法

传统的联邦学习机制中,系统管理部分会随机挑选若干个客户端参与模型训练,并将当前的整体模型参数推送给这些被选中的设备进行本地更新操作。研究文献指出,在客户端执行多步骤更新可能会引入到模型聚合过程中的梯度偏差,而这种做法会导致每一轮迭代中所采用的优化方向与真实期望的方向存在差异。这两个问题必然存在于现有的联邦学习分布式架构之中,并因此催生了一种称为无偏梯度聚集（UnBiased Gradient Aggregation, UGA）的新方法。UGA方法通过持续跟踪每个设备本地模型的变化趋势以及评估当前迭代中的参数变化情况来减少由于局部更新引发的偏差,同时在每次迭代中还引入了一个辅助更新阶段,并通过一组可控大小的数据集（元训练集）来引导整体优化方向逐步趋近于预期的目标分布。

3.2.3 面向隐私保护的联邦元学习算法

（1）Robust FedML算法

联邦学习中不仅需要考虑数据间的异构性问题，并且还需要考虑环境中各训练节点存在的边缘特性。由于各参与方设备资源有限以及本地数据量受限的原因，在单一边缘设备上实现实时实现本地边缘智能的能力较为有限；而且现有的元学习算法对对抗性攻击较为敏感，在受到扰动的数据输入情况下可能会导致目标端模型在短时间内性能显著下降。针对计算资源有限以及本地数据量受限等挑战，并且为了增强联邦元学习机制对抗性强健性的能力，在相关文献中提出了基于分布式鲁棒优化框架的新联邦元学习方法（federated robust meta-learning algorithm based on distributed robust optimization framework, R-FedML），该方法的主要创新点在于：首先通过分布式联合元学习的方式在多台边缘服务器上完成初步模型训练；然后在此基础上仅采用极小数量的学习样本即可快速迭代出适用于目标端新任务的学习模型；研究者强调了基于分布式鲁棒优化领域的最新研究进展能够有效解决上述关键问题，并在此过程中实现了对现有联邦元学习算法强健性的提升。

其中，在概率分布空间中定义了距离度量D(P,P_t)。作者选择使用Wasserstein距离作为概率分布空间的距离度量方案。文中采用了对抗式数据生成机制，在迭代过程中，在每个边缘节点上使用梯度上升法构建抗干扰样本，并将其加入到自身的抗干扰训练集中。每个节点首先利用训练数据集更新参数\theta_t；随后利用测试数据集以及生成的抗干扰样本进行本地参数更新操作；当完成本地优化后，则将优化后的参数值发送至中心服务器，并通过构建抗干扰样本的方式提升算法的整体鲁棒性能。

（2）FL-MN

相对于仅依赖本地数据进行更新的方法而言，在联邦学习中虽然能够显著提升模型准确性（优势明显），但也存在易受后门攻击困扰的问题（致命缺陷）。参与训练的所有客户端都可能将经过恶意数据生成的消息参数发送至服务器（普遍现象），而针对这种恶意行为的具体防护措施研究则相对不足（知识空白）。值得注意的是，在客户端完成对共享初始模型微调之后是否仍可继续对抗这一问题仍是一个值得深入探讨的问题（悬而未决）。此前对此问题进行了初步研究，并通过实验验证了其有效性（基础突破）。为了增强联邦元学习对潜在威胁环境的安全性，在模仿基于度量的距离计算机制基础上提出了一种新型防御方案：本地分类机制结合支持集样本特征距离判断机制（novel defense framework）。这种方法能够在几轮迭代更新中显著降低潜在被污染的可能性（显著成效）。然而这种本地防御方案可能会导致某些特定任务上的性能下降（潜在代价）。基于度量的传统方法作为核心支撑体系具有天然优势（可靠基础），因此值得探索其他基于度量方法作为本地防御手段的可能性（未来方向）

（3）Meta-FL

由于其分布式架构并注重隐私保护特性，联邦学习容易遭受后门攻击威胁；现有联邦学习方法在检测后门攻击时通常需要逐一审查客户端提交的所有更新数据；然而，在满足联邦学习安全聚合要求的前提下进行用户更新检查往往不可行；因此是否存在一种无需审查用户提交更新就能防御后门攻击的方法值得探索；参考文献中提出了一种新型联邦元学习框架Meta-FL（meta federated learning），该框架旨在通过将防御机制从客户端级别转移到聚合级别来实现对后门攻击的有效防御；其核心思想是将传统的全局聚合过程分解为两个阶段的多层次聚合：首先根据客户端的某种特征将其划分为若干组别，在每组内部执行安全聚合操作以生成组内全局模型；接着中央服务器采用特定聚合规则对各组内的全局模型进行合并以获得最终全体客户端共享的模型；通过这种组内层次式的安全聚合过程既能保证服务器能够汇总客户端提交的所有更新信息又能在不泄露单个客户端数据的前提下实现有效的安全检测从而有效防御潜在的后门攻击威胁

联邦元学习算法分类见表4。

3.3 联邦元学习应用

相较于现有的联邦学习算法, 联邦元学习因其较快的收敛速度和较强的个性化能力等优势, 已被广泛应用于多个领域. 以下列举了现有研究中联邦元学习算法应用的一些实例.

（1）信用卡欺诈检测

信用卡诈骗每年造成数十亿美元的损失。然而由于对用户数据安全和隐私保护的需求限制了不同银行之间的数据共享能力。面对不同银行间数据流动的限制传统利用集中数据训练的模型难以有效识别信用欺诈行为因为仅约2%的交易活动存在欺诈可能所以形成的训练集往往呈现出明显的不平衡性人类可以通过积累的经验快速识别出信用卡欺诈行为（对应元学习体系中的快速学习能力）。研究者利用联邦元学习技术开展信用卡欺诈检测研究者通过运用联邦元学习算法将各银行信用卡欺诈检测模型的关键参数进行聚合构建了一个全局共享的模型从而有效保护了各类用户的隐私信息与此同时文中提出了一种新型基于元学习机制的分类器旨在改进三重态度量学习（triplet-like metric learning）该分类器具有显著的优势它能够同时与K个负样本进行比较相比于现有的FlowScope新型信用卡欺诈检测策略（a realistic modeling and a novel learning strategy RMNLS）该方法在检测精度方面取得了明显提升

（2）分布式通信设备数据处理

第6代通信系统的目标是实现全球化的互联需求，并随着技术的发展与应用范围的扩大而不断扩展其服务领域。其中，在水面及海洋环境下的通信系统面临着更高的技术要求。声呐通信作为 underwater information transmission 的主要手段之一，在这一领域表现出了显著的优势。然而目前仍面临两个关键挑战：第一，在设备部署上采用了分布式架构；第二，在单个节点的数据量上仍显不足。为此，研究团队提出了一个基于增强型 acoustic federated learning 的新方案以解决上述问题——该方案只需在本地数据集上通过几步梯度下降进行简单微调即可快速适应新的应用场景。此外 ARC/FML 算法通过能够快速更新网络拓扑结构并传递网络参数的方式显著提升了分布式节点间的通信效率，并通过引入元学习算法进一步增强了机器学习在 underwater communication 领域的鲁棒性

（3）个性化联邦元学习推荐系统

相较于传统的推荐系统而言，在保护数据隐私和整合数据资源方面具有显著优势。然而，在以往的联邦推荐系统中并未充分考虑设备计算能力和通信带宽的限制这一重要因素；因此所提出的模型规模过大而导致模型无法高效部署于移动终端；同时单一全局模型难以充分利用用户间的协同过滤机制这一关键特性。针对上述技术瓶颈问题；研究者提出了一种基于元矩阵分解的方法——元矩阵分解（meta matrix factorization, MetaMF）。该方法通过服务器端的元推荐模型生成用户私有项嵌入向量并构建评分预测机制；从而能够更好地挖掘联邦环境下潜在的合作过滤关系；同时该方案能够在保证性能的前提下显著降低整体参数规模

参考文献借鉴Reptile算法的基础上构建了一个简明有效的联邦元学习（FMLearn）推荐系统模型。该模型通过循环迭代过程实现全局与本地模型的协同更新：在完成一定步骤的随机梯度下降更新后，客户端将本地模型参数发送至服务器进行聚合；服务器基于接收到的客户端模型参数执行全局模型更新后，则会将优化后的全局模型推送给多个客户端；当达到设定的全局训练更新次数上限时，各个客户端会保存本地训练所得的模型参数并进入本地训练环节；在本地训练阶段中，则需要经过预先指定数量的本地迭代更新后才能加载之前保存的最佳化本地模型参数并进入下一轮迭代更新流程。该算法与Reptile算法存在诸多相似之处：客户端均从相同的初始参数点出发，并通过边缘设备存储的状态信息与初始基础参数计算出差异向量来不断优化自身的模型向量空间表达。参考文献开发了一款基于客户端服务器架构的联邦元学习（federated metalearning, FMLearn）模型框架，在该框架下允许客户端上传机器学习模型参数及对应的数据集供元学习算法选择与配置优化；通过这一机制能够显著提高数据驱动型应用中最优模型选择效率的同时大幅缩短数据集建模所需的时间成本

4 总结和展望

本文以联邦学习为背景展开讨论，并分别阐述了联邦学习、元学习以及联邦元学习的相关理论框架与技术要点。文章首先阐述了联邦学习的基本概念及其训练机制，并对其所面临的数据异构性挑战、隐私保护难点以及通信受限瓶颈问题展开了深入探讨，并对其相应的解决方案进行了系统梳理。在此基础上，在客户端优化策略与服务器端优化方案两个维度上对常见的联邦学习算法展开了分类研究与性能评估。转而聚焦于元学习领域，在基本概念构建方面提出了创新性的理论框架，并对其一般训练流程进行了深入剖析，并对其主要算法类型及其实现机制进行了全面归纳总结。随后，在具体应用层面重点分析了 federated learning 在个性化服务构建方面的实际贡献：通过构建个性化的模型参数实现了数据异构环境下的精准服务；通过引入资源分配机制实现了数据利用效率的最大化；通过建立鲁棒对抗攻击机制提升了整体系统的抗干扰能力。最后系统阐述了 federated learning 在信用卡欺诈检测系统中的实际应用案例：在分布式计算环境下实现了交易特征的有效提取；在边缘设备数据处理模块中设计了一套高效的数据清洗流程；在推荐系统构建环节引入了动态权重调节机制以提升个性化推荐效果。

随着社会对数据隐私保护意识的不断增强, 机器学领域对数据使用安全性的要求也在持续攀升。作为一项重要的数据隐私保护手段, 联邦学说必将成为社会各界关注的重点。目前, 关于联
邦学的研究多局限于单一特定类别的机器学模型, 即使能在某一特定领域优化算法以提升该领域的表现, 但要构建一个通用且高效的联邦学框架仍显迫切需求。如何实现不同节点上训练多样化的模
型成为亟待解决的问题。目前大部分研究集中在中心化的联邦学架构上, 即需一个中央服务器来进行协调工作, 而关于分布式联邦学架构的相关研究仍处于起步阶段。

未来的研究重点在于如何应对联邦学习所面临的数据异构、隐私保护以及通信环境不稳定等多重挑战。就隐私保护而言，在数据分布不均的情况下利用基于度量的元学习算法能够显著增强系统的鲁棒性，在当前 fed-ML 研究领域已展现出明显优势；与此同时，在这种场景下若向服务器传输度量模型参数可能会导致敏感信息泄露这一潜在风险仍需谨慎对待。现有的 fed-ML 方法主要致力于构建一个能够在多客户端上良好初始化的通用模型；然而，在面对恶意攻击时相较于传统 fed-ML 算法而言这类基于可转移知识的学习方法可能会表现出更强的脆弱性；此外，在客户端本地更新的过程中由于聚合过程可能导致目标主模型出现梯度偏移现象仍需进一步优化解决；从另一个角度来看，在 fed-ML 领域内目前许多方法都过分依赖于特定类型的网络架构设计这使得它们难以实现真正的普适性应用；因此探索一种能够有效脱耦现有fed-ML算法与其支撑的基础模型从而实现更好的泛化性能仍是一个值得深入研究的方向；最后就技术发展而言fed-ML系统若能在通信效率以及计算资源消耗等方面取得进一步突破将会极大推动其在实际应用中的普及程度

作者简介

张 chartsong（1998-），男性；中国科学技术大学的硕士研究生；在平安科技在深圳的公司担任算法工程师职位；其主要研究领域集中在元学习与联邦学习领域。

司世景先生出生于1988年以后，在职期间在中国平安科技创新有限公司担任一名资深算法专家，并持有博士学位。他同时在中国深圳市被授予了海外高层次人才头衔，并是中国计算机学会的会员单位。他的主要研究方向是机器学习及其在人工智能领域的应用

王健宗（1983年至今），男性身份，在拥有博士学位的同时担任平安科技（深圳）有限公司副总工程师一职，并任资深的人工智能总监以及联邦学习技术负责人。他曾在美国佛罗里达大学从事人工智能博士后研究工作，并获得了中国计算机学会高级会员身份的同时担任该学会大数据专家委员会委员。曾先后在美国莱斯大学电子与计算机工程系研究员一职，并长期致力于联邦学习与人工智能技术领域的研究与探索

肖京（1972-）是一位男博士，在担任平安集团首席科学家期间并曾荣获该奖项；他目前担任中国计算机学会深圳分会副主席；其主要研究领域涵盖以下领域：计算机图形学学科、自动驾驶、3D显示、医疗诊断以及联邦学习。

联系我们:****

Tel: 010-81055490

010-81055534

010-81055448

E-mail: bdr@bjxintong.com.cn

http://www.infocomm-journal.com/bdr/CN/2096-0271/home.shtml

http://www.j-bigdataresearch.com.cn/

转载、合作： 010-81055307

大数据期刊

《大数据研究》（Big Data Research, BDR）作为一家具有重要学术影响力的期刊,是由中华人民共和国工业和信息化部直接领导下的月度出版物,由中国计算机学会大数据专家委员会提供学术指导,由中国信通院传媒公司具体执行出版工作。该期刊经过多轮审核,已成功被中国科技核心期刊、中国计算机学会会刊、中国计算机学会推荐中文科技核心期刊等权威机构认可,并多次荣获国家哲学社会科学文献中心数据库"综合性人文社会科学"学科领域最具影响力中文核心期刊殊荣。

关注《大数据》期刊微信公众号，获取更多内容