论文学习笔记：Personalized Federated Graph Learning on Non-IID Electronic Health Records

文章目录

• Abstract

• 一、Introduction

• 二、 RELATED WORKS

• • 2.1 Federated Learning on Non-IID EHRs
  • 2.1Personalized Federated Learning

• 第三章 基础知识

  • • 3.1 Federated Learning
    • 3.2 Differential Privacy
    • 3.3 Problem Definition

• 四、PEARL的设计研究

• 基于双曲嵌入的层次化疾病诊断代码构建

• 疾病复杂图模型

• 联邦图学习框架

  • 多层图神经网络架构：
    • 基于注意力机制的编码器模块结合
    • 解码器基于自我监督学习实现
    • 联邦学习环境下的详细配置方案设计
    • 针对个性化需求的微调策略优化设计

---

Abstract

电子健康档案（EHRs）中的潜在疾病模式能够起到关键作用于准确和主动的医疗保健决策过程

针对这些挑战，在非IID电子健康记录(EHR)环境中构建个性化联邦学习架构Pearl系统旨在实现疾病预测任务。该系统通过结合疾病诊断代码注意力模块和入院记录注意机制从多源EHR中提取患者嵌入特征。Pearl系统采用自监督学习技术整合至该联邦学习架构中，并以训练层次化疾病预测的整体模型为目标。

旨在优化客户端模型性能的目标下，在现有研究基础上进一步引入了一种微调策略。通过结合本地电子健康记录（EHR）实现个性化全局模型，在这一过程中实施了差分隐私（DP）机制以确保数据安全。

符号说明：

一、Introduction

电子健康档案（EHRs）已在数字医疗系统中获得了广泛使用。借助图学习技术的支持，在集中式的图架构下构建的电子健康档案用于疾病预测的各种模型，在多个具体任务上均展现了卓越的效果。这些模型涵盖了心力衰竭预判、病症诊断、死亡率评估以及药物推荐等多个应用领域。

真实世界的电子病历通常存有于多个医疗机构中。仅限于本地存储的电子健康记录系统（EHR）来训练预测模型可能会导致预测效果欠佳的情况出现。

为提升集中式预测模型的性能所采取的主要努力涉及数据论证方案及数据共享方案。这些方案通常需要学习患者综合诊断嵌入信息，并进一步提升患者入院嵌入。这可能增加了在处理电子病历系统（EHRs）时所面临的隐私与安全风险。例如，在这种过程中可能出现的信息泄露现象。同时，在实际操作中由于电子病历系统（EHRs）具有严格的数据隐私与管理规定，直接在电子病历系统中分享数据用于建模训练的理想目标难以实现。

现有基于联邦学习的方法已开始采用一种具有创新性的方案。通过分布式数据聚合客户端模型更新后的梯度信息协同训练全局模型参数，并避免了传统方法在训练过程中需要共享原始数据的技术限制。在疾病预测等应用场景中展现出一定的性能提升。同时，在各通信轮次中对模型参数更新实施加密机制已成为提高通信安全性的重要手段。

需要注意的是，在分布式环境下（distributed setting），电子病历（EHR）往往呈现出非独立同分布（non-IID）特性，并包含来自不同医疗机构和诊所收集的各种患者的入院详细记录和诊断信息。在实际应用场景中，在线医疗资源呈现多样性特征，在不同参与医疗机构（客户）间的分布趋于不均衡状态。具有非IID特性的EHR数据对基于联邦学习框架下的疾病预测任务构成了严峻挑战。当各类别之间存在显著差异时，在这种不平衡的状态下进行下游预测任务可能会加剧模型性能下降或导致结果偏差等问题。从而带来一系列潜在的健康风险后果。例如，在实际应用中，这类判别性结果可能引发不必要的冗余处理时间和高昂的医疗成本计算负担，并最终导致医疗服务效率下降以及医疗行为偏差等负面现象的发生

为应对联邦图学习中因非独立同分布（non-IID）电子健康记录（EHRs）所带来的挑战所进行的努力，则主要体现在构建具有更加均衡分布的数据的客户端集群上。

在分布式系统的疾病预测任务中, 基于个性化的全局模型方案来应对数据不平衡的问题更加普遍[19]。近期, 个性化联邦学习成为研究人员的重点关注对象, 因为该方法致力于解决非独立同分布（Non-IID）数据分析所面临的两大核心难题: 收敛效果欠佳[20]以及未能提供专门针对客户端的数据特性的一般化解决方案[21]。鉴于Non-IID数据固有的异构特性, 在处理此类数据时, 全局模型往往难以提取出专属于各客户端的数据特征

由此可见, 采用局部数据集对全局模型进行微调被视为实现其个性化的一种有潜力的方法[ 22 ]. 值得强调的是, 这个微调过程完全可以在客户端独立完成, 不需要任何与中心服务器的交互.

本文中, 我们阐述了基于序列疾病预测任务的个性化联邦图学习架构, 称之为PERAL. 该架构旨在解决非IID EHR数据中的数据不平衡和数据不足问题. 该框架由三个核心模块构成.

本文中, 我们阐述了基于序列疾病预测任务的个性化联邦图学习架构, 称之为PERAL. 该架构旨在解决非IID EHR数据中的数据不平衡和数据不足问题. 该框架由三个核心模块构成.

为了实现疾病诊断代码表示的有效构建目标，在本研究中我们开发出一种新型的双曲空间嵌入模型，并将其应用于信息流整合过程中。通过这种方法我们可以系统性地构建层次化的疾病诊断代码体系从而提升诊断效率和准确性

在此时, 我们将疾病并发症表示为一个有向加权图, 并考虑到其共现频率作为因素之一, 并且考虑到疾病间存在不对称的影响。

在此时, 我们将疾病并发症表示为一个有向加权图, 并考虑到其共现频率作为因素之一, 并且考虑到疾病间存在不对称的影响。

然后，我们构造了一个多层图神经网络( GNN )作为编码器。

该编码器整合了疾病诊断码以及入院记录中的注意力机制，并通过将患者的入院记录转换为患者的向量表示来进行分析。

在解码器模块中采用自监督学习策略，在此基础上充分考虑疾病的层次结构特性以提升疾病预测效果。编码器与解码器均采用联邦学习架构设计，并通过差分隐私机制（DP）进一步强化安全性，在分布式、非独立同分布（Non-IID）电子健康记录（EHR）数据集上协同训练全局化的疾病预测模型的同时有效保护了患者隐私信息。并引入一种微调优化策略，在本地EHR环境下更新客户端模型以实现个性化的疾病风险评估能力。

本文的主要创新体现在以下几个方面：

1. 针对不平衡NonIID电子健康记录系统（EHRs），我们开发了一种创新性的个性化联邦图学习框架。
2. 该框架采用本地微调技术来增强模型在不同客户端的数据适应性。
3. 通过优化机制，在客户端性能下降的情况下最大限度地提升全局模型的能力。

2 ) 模型训练的隐私保护措施：服务器端上采用疾病诊断码作为特征输入至全局模型进行训练，在这一过程中未涉及患者的任何敏感信息；微调模块部署于客户端端，并结合本地电子健康记录对更新后的全局模型进行优化；此外，在联邦学习架构中应用低隐私预算策略配置differential privacy（DP）机制，在保证数据安全的同时确保了模型训练过程的私密性。

3）卓越的表现：该框架基于真实可靠的MIMIC-III数据集展开了系统性实验研究。为了评估所提出方法的性能，我们进行了多维度的测试与分析。研究结果表明，在疾病预测方面其表现优于现有基准方法。

二、 RELATED WORKS

2.1 Federated Learning on Non-IID EHRs

医学研究领域中基于联邦学习的传统模式主要建立在具有独立同分布（IID）数据划分的基础之上。非-IID特性的存在会导致联邦学习模型在性能上表现出显著差异。因此，在电子健康记录（EHR）中识别Non - IID特征显得尤为重要

数据共享方案已被证明为应对非IID电子健康记录挑战的一种简便且高效的方案。

研究团队[24]开发出了一种基于非IIDX影像数据的新一代联邦COVID-19检测系统。该系统通过引入数据共享机制来提升客户端数据多样性。研究者[25]构建了一个结合联邦学习技术的空间卷积神经网络用于新冠肺炎病例诊断。通过引入联盟区块链架构该方案实现了在联邦学习环境下对模型运行过程中的隐私保护与安全性保障。

该研究团队开发出了一个可扩展的联邦学习架构，在应对具有间歇性特征且依赖非IID射线图像的数据来源的专业客户端需求方面取得了显著进展。研究表明，在本地模型训练环节中融入数据增强技术有助于优化客户端电子健康记录（EHR）的质量，并显著提升了疾病诊断预测任务中的准确率和可靠性。

张等人[27]在联合心律失常检测研究中采用了部分数据共享策略。该方法通过调节数据共享的程度，在准确性与隐私性之间实现了令人满意的平衡。值得注意的是，尽管该方法取得了一定成效，但电子健康记录（EHRs）的高度敏感性引发了与隐私和机密性相关的关注。

聚类技术已被广泛认为是一种有效的应对措施，在缓解与Non-IID EHR相关的挑战方面发挥了重要作用。该方案涉及将相似客户划分为群组，并对每个群组开发独立子模型来实现个性化服务。

Elhussein和Gursoy [28]开发了一种基于社区的聚类联邦学习框架，并将其应用于非独立同分布电子健康记录（EHRs）中以实现患者的群集分析。该方法不仅实现了高效的隐私保护机制，还确保了数据的安全性。

研究者Li等[29]针对非IID医学影像数据的联邦学习问题成功实现了特征漂移的有效解决。通过引入局部批归一化技术来规范化不同数据分布下的输入特征，在此过程中显著降低了非IID数据分布对模型性能的影响程度。

这些研究揭示了通过聚类技术对不同客户群体分别建立专用模型的能力，并且考虑到了每个子群体特有的独特特征来进行个性化培训。此外，在训练过程中通过协调数据分布来缓解非独立同分布数据带来的负面影响的能力得到了验证

在本文中

2.1Personalized Federated Learning

因为分布式系统中的非独立同分布（Non-IID）数据具有多样性特征，在解决此类非独立同分布数据引发的问题时，个性化联邦学习技术通常被视为一种有效的解决方案。当前，在设计个性化联邦学习方法时，主要可以从两个角度入手：一方面是优化全局模型以实现个性化的服务目标；另一方面则是专注于提升单个节点的学习能力以构建个性化的模型。

为实现联邦学习阶段的全球模型个性化目标，普遍采用的方案通常是两个步骤组成的流程。首先，在联邦学习框架下构建并训练出一个统一的全球预测模型。接着，在客户端端实施本地自适应机制，并据此对已有的全球预测模型进行定制化优化。

Wu等研究者[ 33 ]开发出一种基于知识缓存机制的个性化联邦学习架构。该架构通过预先部署部分公共知识缓存于服务器端，并通过哈希特征匹配机制识别并整合客户端样本库中的相似数据。在此基础上，在客户端训练阶段引入了一种集成蒸馏技术，在模型更新过程中动态调用服务器端积累的知识库以实现性能提升

Iacob等[34]进行了对比研究，在分析下一个词预测任务与图像识别任务的个性化性能后得出了两种公平联邦学习方法的有效性结论.Iacob等[34]进行了对比研究，在分析下一个词预测任务与图像识别任务的个性化性能后得出了两种公平联邦学习方法的有效性结论.

Chen等[ 35 ]对客户端联邦间信任问题的关注促使他们构建了一种循环知识蒸馏方案。该方案通过增强各联邦间的公共信息积累能力，并使基于联邦的模型个性化得以实现。

在联邦学习阶段旨在构建个性化的机器学习模型时,Cao等人[ 36 ]提出了一个创新性的解决方案,即利用生成对抗网络实现一种新型的个性化联邦学习方法。具体而言,各个客户端无需共享任何关于自身数据的具体信息或参数,就能通过独立完成个性化的特征提取和优化过程来参与整体的学习训练工作。在这种情况下,各参与者能够根据自身的数据特点自由地调整算法参数并完成特定的任务目标,从而实现了整体性能的最大化。整个过程中,各节点服务器之间仅需交换少量关键中间结果而不必泄露原始数据内容,这种机制既保证了计算资源的有效利用,又有效防止了敏感信息泄露的风险

在协调全局模型性能与个性化能力之间的重要权衡基础上,Deng等人[37]提出了自适应的个性化联邦学习方案...此外,在优化算法方面,基于动态调整的学习策略下实现了服务器与客户端模型间的高效协同。

该研究团队开发出的新框架融合了基础模型的强大表征能力与个性化的提示生成机制,从而帮助客户端在联邦学习环境下实现本地模型的高度个性化,同时借助全局优化提升了整体的学习效能.这一方法特别适用于需要在多终端设备间高效处理多样化的数据场景.

由于不同医疗机构和诊所的电子健康记录（EHR）存在异质性特征，在实际应用中通常呈现非独立、不恒定（Non-IID）的数据分布模式。就系统架构而言，在非IID数据集上构建疾病预测模型时，默认采用全局模型个性化方案是一种高效可靠的方法。本文主要聚焦于全球化的个性化医疗框架研究，在此基础上提出了一种新型的个性化联邦学习方案。

三、预备知识

3.1Federated Learning

在中心服务器上通常会采用简化的高效联邦平均算法（Fed Avg）来实现优化目的。根据客户端数据数量的差异性，在更新后的局部平均参数变化上赋予不同的权重以确保算法的有效性[ 39 ]。需要注意的是，在本文中所使用的全部重要符号都已按照《命名法》规定进行了标注

3.2Differential Privacy

3.3Problem Definition

在EHR数据库中存档的每个住院患者的电子病历记录均包含了与患者诊疗过程相关的时序特性和时间戳信息。临床诊断信息采用国际疾病分类（ICD）系统中的标准编码格式得以存储。值得注意的是，在本研究中采用的数据集来源于MIMIC-III数据库，并严格按照ICD-9-CM规范对临床编码进行了处理。

我们定义了集合C={c₁,c₂,…,c_{|C|}}来表示EHR数据中所有疾病诊断编码集合，并规定其大小记作|C|。给定病人u的情况下，默认其住院记录可被描述为一个序列Vu= {Vu_τ | τ=1,…,T}的形式。其中T代表该病人总共住院的次数。每个住院记录Vu_τ都属于集合C的一个子集以消除潜在混淆，并在本文后续部分详细阐述针对单个病人的算法应用情况。

我们从电子健康 records（EHR）数据集中提取信息，并关注每个患者可能有多个住院记录的情况。这些患者会被根据其主诊断分配到不同的层次，在疾病预测任务中进行分析。为了实现精准预测，在给定一个含有τ个历史住院记录的患者u的情况下，请注意我们的目标是通过模型将τ + 1个疾病诊断结果预测为yu τ +1的形式，并基于输入向量Xu和时间戳序列T_u来进行推断。

四、DESIGN OF PEARL

本文阐述了提出的人工智能驱动个性化联邦图学习框架PEALR及其在疾病预测中的应用。首先，在第4.1节详细描述了双曲嵌入技术用于提取疾病诊断编码之间的层次化信息表示。其次，在第4.2节深入探讨了如何基于患者并发症构建完整的临床关系网络。最后，在第4.3节系统阐述了个性化的联邦图学习方法及其设计思路。

本研究提出了一种个性化联邦图学习框架的概览图示如图1所示。
在该框架中，在关联阶段中（即关联阶段），疾病诊断码及其并发症被用于生成层次嵌入和有向加权图。
在联邦图学习过程中（即在整个联邦学习过程中），服务器首先（第一步）使用带有疾病诊断代码和入院记录注意力机制的多层GNN模型来计算患者的嵌入信息作为编码器。
接着（随后），采用自监督学习方法作为解码器（即解码模块），以恢复具有层次结构的历史诊断结果信息。
最后部分采用了微调策略，并通过整合局部电子健康记录（EHR）来优化全局模型的表现效果。

Diseases diagnostic codes hyperbolic embedding via hierarchical structure

基于先前研究及其实证验证可知，在EHRs中疾病的层次编码体系已被系统性研究及其实证验证证实能显著提升疾病预测性能[ 41 ]至[ 43 ]。在此基础上，本研究基于双曲面嵌入方法从EHRs中提取疾病诊断码的分层表示模型，并假设这些编码遵循一个包含H层的分层组织结构。

基于以往的研究发现，该文中提到的ICD系统构建了一个基础的知识数据库。该系统旨在对现有疾病进行分类处理，并从多层次架构组织疾病诊断编码信息。如文中所述，在具体实施过程中，则采用了一种分层的方式进行管理：如在国际标准分类病目码系统（ICD - 9 - CM）中就可看出这一特点——一级编码涵盖了总共19个主要的临床诊断类别。而二级及以下层次的编码则提供了更为具体的诊断信息描述

为了探讨疾病诊断码的表现形式, 我们将集合H中的每一个疾病诊断码视为节点, 并将其嵌入到双曲空间之中. 对于属于集合H的两个疾病诊断码ci和c j而言, 它们对应的嵌入向量ei和ej之间的距离可以通过以下公式计算:

然而，在某些情况下，在构建患者入院记录时，默认会将患者的主诊断归类为较高的层级疾病码。

旨在通过疾病诊断码之间的信息流动机制进行建模。 为实现这一目标，在构建编码体系时引入了共享权重矩阵Si用于继承父节点特征，并采用本地权重矩阵Li专门提取节点特有的细节信息。 随后，在集成过程中使用可学习权重λi对两部分特征进行融合计算得到最终嵌入ei'。

​

这个公式由嵌入向量𝑒𝑖′ 通过加权的方式实现共享空间与本地空间的融合，其权重参数为𝜆𝑖。该方法通过在疾病诊断编码之间建立高效的传播机制，在保持各自特有的特征信息的同时实现了跨码的信息交互。

然后，我们从以下几个方面计算信息流：下行流和上行流。

向下传递的信息代表了从父节点（叶子节点）继承的公共嵌入的低级代码的共享向量表示；而向上传递的信息则代表了一个叶子节点从其子节点聚合得到的摘要信息。其中，向下传递的信息可以通过公式（7）来描述；而向上传递的信息则可以通过公式（8）来描述。

A是邻接矩阵
N ( i )表示ci的所有不相邻节点的集合
V: 患者的入院记录

该部分流程如算法1所示：

4.2 Disease Complication Graph

在医学研究领域中,通过统计医疗诊断结果中疾病发生频率的方式有助于识别疾病并发症的存在. 在患有心力衰竭的患者中发现了异常高血压. 深入探究疾病并发症之间的相互关联,并据此优化疾病预测机制至关重要.

以上改写遵循以下原则：

1. 每句话均实现了表达方式的优化
2. 使用了更多专业术语
3. 增加了一些必要的修饰词
4. 调整了部分句子的顺序
5. 将"参考文献"替换为更符合学术规范的说法

对于给定的邻接矩阵A∈R| C | × | C |，每一个元素Ai，j表示边( i , j)的权重。

为了解释疾病对...的影响机制，本研究构建了一个共生矩阵Adup∈N×C×C，并采用全零初始化策略。

在每一次患者的入院记录中出现并发症的情况下，在ci和cj发生时，在Adup_{i,j} 和 Adup_{j,i} 中各增1。

我们计算Adup的第i行和为

，并进一步计算加权邻接矩阵A如下：

换句话说，在临床中病 i和病 j如果常伴有出现，则Aij数值越大则可能用于预测并发症的可能性

因此，在下一阶段利用人工智能算法Ai j计算共现频率以量化相邻节点之间的相互影响，并构建了疾病图G，并在后续步骤中采用了基于图神经网络的方法以提取疾病诊断代码的潜在特征。

4.3Federated Graph Learning

4.3.1 Multilayer GNN:

通过预训练过程获得了疾病的诊断码嵌入表示E以及加权邻接矩阵A。随后，我们利用多层图神经网络模型处理电子健康记录数据，以计算出疾病诊断码的隐藏表示X = GNN(A, E)

首先, 我们采用了经过预训练处理的疾病诊断码, 通过嵌入机制E将其转化为初始化状态H ( 0 ). 接着, 基于第l层图神经网络模型设计一种新的聚合机制, 公式如下:

该公式具体阐述了对邻接矩阵 𝐴的归一化过程,其主要目标是调整中心疾病诊断码的影响力

4.3.2Encoder With Attention Mechanisms

部署一个基于双重注意力机制的编码器是为了对病人电子健康记录（EHRs）中的疾病诊断码和住院记录进行分析。该系统能够表现出较高的预测能力以辅助临床决策。

下面是如何计算给定一个病人 𝑢 的某次住院记录 𝑉𝑢𝜏中疾病诊断码的注意力

注意力机制利用这些权重矩阵和向量灵活地调整每个病症诊断代码在最终预测中的比重。具体而言，矩阵𝑊𝑐和向量𝑤𝛼共同作用于输入的疾病编码嵌入向量，并将其映射到一个新的特征空间中。依据其在该空间的位置计算注意力分数。从而帮助模型识别并关注当前任务中最重要的疾病编码。

然后，在每条样本中，我们将注意力机制得到的分数与对应的特征向量xi逐一相乘，并对这些乘积求取加权总和作为最终的接受嵌入v τ。紧接着，在评估模型性能时会采用相似的方法来计算各条记录的相关程度。在本节中，则选用LeakyReLU作为激活函数，在病人维度上将入院嵌入v τ进行映射（如方程所示），其中Wu代表权重矩阵。

相较于用于反映患者u各次入院记录重要性的全球关注度而言, 我们创新性地引入了一个新的指标θτ, 专门用于评估患者u每次特定入院记录的价值程度; 而传统的全局关注指数仅用于评估单次入院记录的基本重要性, 这一局限性已被我们的研究方法所克服. 基于上述分析, 在量化评估过程中

基于上述分析，在计算v ~τ的加权求和后，我们成功获得了同时具有疾病诊断编码和入院记录关注度的患者嵌入表示p。

4.3.3 Decoder Using Self-Supervised Learning

在医疗数据分析领域中，在尤其是处理电子健康记录（EHRs）时

在这种情况下，在线解码器采用了自监督学习方法，并基于患者的嵌入向量p来还原其历史诊断记录而非预测下一个潜在的住院记录。这种机制使模型得以仅凭数据内在特性进行训练而不需依赖外部标注信息。

解码器的主要任务是将患者的嵌入信息 p 转换为反映其可能疾病的概率分布 \hat{y}。具体而言，在已知患者的嵌入信息 p 时的条件下，则表示疾病编码 c_i 出现在以往的历史病例中的可能性。这表明着体的主控功能在于通过患者的特征信息集 p 分析其可能存在的所有病史编码 c_i 之间的关联性。

已经说了是历史病史，为什么又说这个病出现在病史中的可能性？

通过考虑疾病诊断代码的层次结构，我们将疾病预测任务扩展如下。

在处理层次结构的根节点时所采取的方法：

在层次化疾病预测任务中，解码器的定义和损失函数的构造方式：

4.3.4 Federated Learning Settings

我们致力于优化非IID环境下疾病预测模型的性能。为此，在完成疾病诊断代码预训练后，我们将前述疾病预测模型整合至联邦学习环境，并通过更新服务器端参数实现多个EHR平台数据的有效结合与共同训练。

在分析客户间电子病历的非IID特性时，在平均训练本地模型权重的过程中考虑到数据大小的影响因素。因为不同客户的电子病历规模不一可能导致传统均值聚合方法难以达到最佳效果，在计算本地模型权重时综合考量了各参与方的数据量以确保系统的鲁棒性和准确性。

在将全局模型的初始权重设定为w₀后，在一轮通信期间进行的联合平均计算流程涵盖前面所述的具体说明(1)中的本地训练环节以及第(2)部分中的整体模型更新步骤。随后,服务器会汇总并传递给客户端最新的全球权值参数w_{t+1},准备好用于下一步轮次的学习

在联邦学习框架下设计的服务架构中, 我们能够通过利用客户端本地及其它EHR系统中的数据资源, 实现全球疾病预测模型的整体训练目标。客户端本地机器学习平台能够从本地存储和其它EHR系统中提取出用于生成隐藏层次特征的新颖表征, 同时有效避免了对医疗数据隐私与安全性的潜在威胁。

4.3.5Personalized Fine Tuning

我们开发出了一种新型的个性化联邦学习框架Pearl，并将其伪代码清晰记录于算法2之中；同时，在算法3中也进行了详细的推导与说明