A Privacy-Preserving Federated Learning Framework With Lightweight and Fair in IoT 阅读文献
概括
提示:这里可以添加系列文章的所有文章目录,并由作者自行手动补充
联邦学习在一定程度上保护了参与者的数据隐私。然而,在物联网(IoT)领域中尚未出现专门设计以提升效率的高效隐私保护联邦学习技术。尽管已有多种旨在保障数据安全的联邦学习方案被提出,并主要基于同态加密系统(HE),但这些方案在物联网场景中的适用性仍显不足。此外,在物联网环境中应用联邦学习面临两大关键挑战:如何有效降低巨大的通信开销以及如何处理通信失败率;同时还需要能够有效地识别高质量数据并加以利用,并剔除低质量数据以实现协同建模。为了应对上述问题,在本文中我们提出了一种新型的最优聚合型隐私保护联邦学习框架(MEEC-FSOA)。该框架基于多密钥EC-ElGamal加密系统(MEEC)以及联邦优化算法(FSOA),具有极简化的通信开销和公平性特点。其核心目标在于通过MEEC方法解决多密钥协作计算问题,在此过程中可显著减少通信开销并提高通信效率。EC-ElGamal加密系统能够自动生成短小精悍的密钥对与密文实体;同时我们还设计了一种动态适应性的机制来应对用户加入与退出的问题。这种机制的主要作用是缓解因通信失败导致的影响,并增强物联网端设备的实际计算能力;此外我们还开发了一种高效的优化算法FSOA用于获取最优训练数据集;从而防止低质量样本干扰训练过程并提升模型性能。最后通过对所提方案的安全性和性能进行全面评估表明:与现有解决方案相比本方案在安全性、实用性和计算效率等方面均表现更为突出;并且其总体通信成本与计算开销也明显低于现有方法。
提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
- 简介
-
联邦学习的起源及其面临的障碍
-
预备知识
-
EC-ElGamal 加密方案
- 混合加密方案
-
系统模型
-
- 提出方案
- 素数搜索算法
-
联邦和优化算法
-
联邦学习的背景和挑战
提示:这里可以添加本文要记录的大概内容:
通过联邦学习机制,在无需分享本地数据的前提下实现多方协作模型训练不仅有效地保护了数据隐私,并且推动了跨平台的数据共享进程。如今,在物联网领域中广泛应用于提高多参与者的联合训练效率的就是联邦学习与边缘计算的有效结合。然而受限于边缘计算自身的技术瓶颈尤其是其有限的计算能力和有限的通信资源[1]这种协作模式的应用效果受到了制约。此外实施联邦学习不仅要求大量数据而且还需要反复进行模型训练与交互这一需求使得其在物联网应用中受到诸多限制。
虽然联邦学习在隐私保护方面表现优异,
然而,在物联网领域中,
目前尚缺乏一种高效可应用于实际的隐私保护联邦学习技术。
就其特性而言,
在物联网应用场景中,
联邦学习面临着通信成本高昂以及通信失败率较高的问题。
在网络架构设计上,
在现有的联邦学习框架下,
则要求众多边缘设备(如智能机器人、智能仪表等)
必须与参数服务器进行通信。
若所有边缘设备均参与完整的训练过程,
网络负载将承受巨大的通信压力,
尤其是在并非所有客户端都能对每轮训练提供显著贡献的情况下。
受限于网络带宽的限制
以及众多操作节点的存在
在实际应用中更容易导致通信中断或失败。
数据质量问题和现有解决方案
另一个联邦学习在物联网应用中所面临的重要挑战是在联邦建模过程中充分挖掘高质量数据的价值。以往的研究在数据处理方面往往默认所有客户端具有相同的训练能力,并未考虑到个体参与者的不同能力和设备环境的影响[2][3]。然而,在实际应用场景中,由于存在设备离线或中断、低质量数据、不平衡数据以及非独立同分布(non-IID)等复杂因素的影响,训练结果往往会出现偏差性问题[5]。这种偏差性可能导致模型预测能力下降甚至出现错误结论。造成这种偏差性的主要原因包括:设备运行稳定性不足、采集的数据质量参差不齐以及真实场景下的分布特性与实验环境存在显著差异[6][7]。为了平衡各方利益并提高系统的公平性与可靠性,在现有研究的基础上我们提出了一个基于可信赖参与者协作机制的新框架设计方案
Xu等研究团队引用文献[5]开发了一种隐私保护的联邦深度学习架构(architecture),其目标是减弱异常用户的干扰并确保所有用户的个人信息及其数据质量不受侵害(not compromise)。然而(however),该方案需要配置额外服务器以及引入可信第三方(third party)以保障系统运行(operation)。通过集成Paillier同态加密机制(mechanism)会带来显著的数据传输与计算资源消耗(overhead)[6]。目前这类方案在物联网设备中的应用较为有限(limited)。
针对现有挑战提出的解决方案
为了解决上述问题, 本研究提出了一种新型的隐私保护联邦学习架构, 称之为轻量级与公平隐私保护联邦学习架构 (PFLLF). 该架构以所提出的多密钥EC-ElGamal加密系统 (MEEC) 为基础, 具备以下优势: 优化通信开销、提高抗断连的能力, 并在物联网 (IoT) 应域内实现了高质量数据的有效持续获取. 本研究的主要创新点体现在以下几个方面:
设计一种新型高效的隐私保护联邦学习框架。该框架在轻量化与公平性之间取得良好平衡,并通过融合MEEC技术实现多密钥协作计算。该框架不仅支持用户数据的动态更新与隐私保护机制,并通过机制确保参与者的隐私安全。同时,在此基础上显著提升了加密效率与网络带宽利用率,并优化了资源利用。MEEC促进了联邦学习中的多密钥协作计算,并增强了系统的安全性。
提出了两个动态管理算法
该算法(UDQA)赋予参与者在训练过程中根据需要决定是否退出的权利。
该算法(UDJA)赋予参与者在训练过程中根据需要决定是否加入的权利。
这些算法通过有效减轻用户动态参与过程中的加入与退出行为对通信失败的影响,显著提升了适应性联邦学习的效果。
采用联邦学习与优化理论为基础的FSOA方案。
将高质量数据进行分类,并计算其对应的联邦学习结果。
该方法有效保护了物联网设备的数据质量信息。
此方法通过防止来自低质量或不公平数据源的信息被纳入联邦学习过程来确保数据安全。
全面的安全性评估与性能分析
提示:以下是本篇文章正文内容,下面案例可供参考
预备知识
EC-ElGamal 加密系统

混合加密系统



系统模型
在本系统模型中,边缘计算外围形成了多个边缘设备域,在这些领域内涵盖了机器人技术、车联网(VANETs)以及智能电网等多个研究方向。具体领域内采用了包括卷积神经网络(CNN)、人工神经网络(ANN)、支持向量机(SVM)以及k-means聚类等在内的机器学习算法,并在边缘设备上进行了具体应用。这些设备采用加密机制保护训练参数,并通过上传或下载的方式将加密后的参数发送至参数服务器进行处理。
参数服务器部署于云端及边缘计算中心,并负责管理并整合来自不同边缘域的数据。
该加密机制采用轻量化EC-ElGamal方案,并允许每个参与者共享其公钥给所有其他参与者。
系统模型如图1所示。

参数服务器(Parameter Server):
作为数据聚合中心的参数服务器负责收集来自边缘设备的学习参数,并通过统计这些数据计算出整体训练结果。
一个参数服务器能够协调多个独立训练过程,在此过程中需要经过多次与边缘设备的数据交互。
作为不可靠的一方,在协议执行期间可能会试图获取敏感信息但最终无法实现与边缘设备的有效合作。
边缘设备即为运用机器学习算法处理存储于本机或外部的数据实体。
在初始化阶段首先生成公钥与私钥配对;随后使用公钥对本地训练所得的权重进行加密处理,并将加密后的权重传输至参数服务器。
边缘设备需保留私钥以解密相关数据;并采用MEEC算法提取明文平均值。同时需要注意的是,在实际操作中边缘设备不得与参数服务器进行通信协作。
本节主要探讨了PFLLF框架下的威胁模型分析。
参数服务器被假设为一个"诚实且好奇"的实体(honest and curious entity),即它将遵守协议的同时还试图通过协议框架外获取敏感数据;边缘设备则负责生成并安全存储其私钥;在系统模型中存在以下威胁:
当参数服务器遭受外部攻击时:当参数服务器遭遇外部攻击者入侵时
当边缘设备遭受外部攻击时
当边缘设备遭受外部攻击时
潜在威胁可能试图窃取参与者之间的通信内容或通过通信信道传输敏感数据。尽管这些加密内容被获取后仍可被解码(即解密),但因为缺乏相应的密钥信息而无法完成这一过程。
C. 设计目标
我们的设计目标源自系统和威胁模型的分析,具体如下:
输入隐私(Input Privacy):
数据安全与隐私保护具有密切关联,在保障用户数据安全的同时必须防止未经授权的信息泄露。因此,在设计解决方案时必须确保所设计的方案能够有效地保护输入数据。
模型与推理结果隐私(Model and Inference Result Privacy):
模型与推理结果涉及用户或设备的敏感信息,并且即使在模型训练过程中使用的参数中也可能泄露敏感细节。因此,解决方案必须首要保护模型与推理结果的隐私。
Lightweight Homomorphic Encryption是一种针对物联网网络优化的轻量级加密方案:
物联网网络面临带宽受限及设备资源受限的问题。选择与应用合适的密码学算法对提升其安全性与效率具有重要意义。为此,本文提出了一种基于轻量化同态加密方案的方法来解决这一问题.该方法能够有效优化资源利用情况.
高质量的数据训练(High-quality Data Training):
在联邦学习的过程中所使用的数据质量受到了来自复杂的数据源、存在明显质量差距以及存在不公平的数据等因素的显著影响。因此为了解决这个问题方案还需要解决数据分析筛选的问题从而确保模型在训练过程中的有效利用。
提出方案




素数搜索算法





联邦和优化算法
提示:这里对文章进行总结:



E. PFLLF 框架的构建














