论文阅读：HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning
文章动机
在实际应用中进行参数交换的过程中,结果模型可能会导致原始训练数据信息泄露的问题,而传统的基于差分隐私机制与安全多方计算技术的方法,由于其复杂性,不仅带来了较高的通信成本,还导致整个系统的收敛速度明显下降.为了提升系统的效率,在此研究中我们建议采用一种新型的安全多方计算协议——即基于函数加密的方法来实现联邦学习过程中的隐私保护,通过这种方法显著降低了系统的训练时间和数据传输量
文章贡献
- 开发了一个幽默感十足的隐私保护联邦学习（PPFL）方案——HybridAlpha。该方案结合差分隐私机制与安全多方计算技术，在多输入函数加密技术基础上进行设计与优化。
- 对HybridAlpha方案进行了理论分析与实验验证。研究结果表明，在不牺牲系统性能的前提下实现了对现有同类型系统解决方案的有效替代。
- 详细阐述了该方案的具体实现，并将其应用于卷积神经网络架构中进行测试。实验证明，在保证模型收敛速度的同时显著降低了数据传输过程中的开销成本。
- 同时解决了联邦学习过程中参与者动态增减所带来的挑战。
背景知识和前置知识
FL中的隐私问题
- 计算出的Privacy：其中，在词语分类任务中输入具有非零梯度值的输入词汇会被标记为敏感词汇；通过SMC协议机制来解决训练过程中的推理攻击问题。
- 输出模型可能泄露Privacy信息；为此，在训练完成后对模型进行处理以防止从最终模型中推断出原始训练数据集中的任何单个数据点。
函数加密
FE方案（Functional Encryption）属于公钥加密体系，在这一框架下允许多方能够对数据进行加密操作，并由第三方机构基于特定函数f（·）的能力，在密文上执行计算任务。这种操作最终会还原出原始数据经过函数运算后的结果信息；然而，在此过程中各方均无法获取除预期结果以外的其他任何信息。其中,f（·）是待执行的具体运算功能,sk_f则代表对应于该运算功能f（·）所使用的私钥配置参数；解密者通过利用sk_f与密文集合展开解密操作,即可获得经过运算后的明文结果值。此外,引用《Multi-input functional encryption for inner products: function-hiding realizations and constructions without pairings》中的解决方案,显著减少了必要的配对操作次数,从而有效降低了整体运行时间。在该多输入函数加密机制中包含了五个核心算法流程如下所示：
HybridAlpha框架
威胁模型
- 半诚实聚合者：严格遵守算法和协议规范，并可能试图从模型更新中推导出隐私信息。
- 奇心且组成了联盟的部分参与者：这些参与者会联合起来监控数据交换过程及最终结果。
- 可信赖的安全协议：假设无干扰的情况下（即信道安全且无中间人攻击），该系统可确保正常运行。
非攻击状态下的设置
- TPA初始化阶段：创建主公钥和主密钥，并将pkipk_i分配给每个参与者（用于对自己训练后的梯度进行加密）。
- 聚合阶段：向参与者集合中的每个参与者分发训练的模型；当训练者完成本地模型的训练后，在等待时间允许范围内开始聚合操作；若收集到的模型信息数量少于设定阈值，则继续等待；当接收到超过阈值数量的梯度时，在TPA处生成对应密文权重向量以获取解密函数私钥skf,wpsk_{f,w_p}；通过解密该密文组更新模型参数。
- 参与者训练极端：参与者利用自身数据与获得的模型进行训练；对得到的结果加入噪声后进行加密处理，并将加密结果发送给聚合者。在此过程中假设所有参与者均未脱线并及时提交梯度信息。
推理预防模块
假设聚合者想要推断参与者的模型，可以通过设置权重向量来推断如：
目标参与者的位置设为1坐标点（x₁,y₁,...,xₙ,yₙ），其余位置设为0坐标点；通过聚合操作可获得带有1/n差分噪声的模型参数估计值。此外，在本地计算并上传wpw_p值以获取目标模型梯度信息时可能会出现漏密事件。为了防止这种情况的发生，在本研究中加入了防止推理的机制；假设最多不超过一半的参与者会共同参与恶意勾结行为，则在wpw_p向量中至少存在t个非零元素
