论文《FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation》阅读
学术论文《FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation》阅读与学习
- Introduction
-
Methodology
-
Local Client Graph Learning
- Privacy-Preserving Model Update: 隐私保护机制的模型更新过程涉及对数据隐私的有效保护与安全更新策略的设计与实现。
- Local Graph Expansion: 基于本地图的扩展算法旨在提升数据处理效率的同时保证数据隐私的安全性。
-
总结
-
本研究报道了来自清华大学武楚涵博士的研究成果发表于FL-ICML 2021国际Workshop上，并其题为《FedGNN：一种用于隐私保护推荐的联邦图神经网络》。该研究聚焦于联邦推荐场景中基于图神经网络难以有效获取高阶邻居信息的问题。研究者采用了基于图扩展方法来实现高阶邻居信息的有效提取。
Introduction
该论文专门针对一种严格的联邦推荐场景，在这种情况下，默认情况下每个用户的嵌入特征都是其完全私有属性，并且对于所有Item的评分信息也都掌握。然而，在与服务器之间仅传递模型更新的梯度数据这一机制下存在局限性：假设客户端本地训练一个GNN模型的话，则仅有与客户端交互过的内容才能参与模型训练这一现象会导致模型精度不足。为此，在现有框架基础上引入了一个第三方代理节点来解决这一问题：具体而言，在这种辅助结构下将发生如下过程——首先由客户端将自身嵌入数据上传至该代理节点；其次由该代理节点负责收集并存储其他具有相同交互记录的用户嵌入表示；最后通过特定通信机制将这些辅助嵌入数据反馈回客户端用于进一步优化模型参数。
Methodology
这里简要介绍一下 FedGNN 方法论部分，具体符号简化介绍，细节不必纠结。
local client graph learning
作者基于原始的user-item二部图模型增加了邻接用户的信息导入机制。具体而言，在模型构建初期阶段由于用户与物品的嵌入表示尚未完全精准定位, 因此为了避免影响模型训练效果, 先未进行相关嵌入信息的引入. 直至模型参数达到一定优化程度后, 再逐步导入邻接用户的嵌入信息. 然而, 该方法的具体实施时机并未明确说明, 实验部分也未给出相关信息.
这一领域的探讨相对有限。
本研究采用 GAT 实现目标。
所设计的目标函数基于均方误差损失。
训练结束时为客户端i提供必要的信息；基于获得的误差值\mathcal{L}_i计算出参数向量\mathbf{g}_i。随后将这些参数向量发送至中央服务器上进行汇总处理以生成总的参数更新值\mathbf{g}之后会将其返回并应用全局参数更新给客户端i以完成本地模型的优化工作
Privacy-Preserving Model Update
作者使用几种保护隐私的方法以保护用户隐私：
伪交互物品采样构成了向量\mathbf{g}_{i}^{p}。系统会随机抽取M件商品，并对所选商品的梯度进行正态分布调整后发送回服务器以防止数据泄露。该过程的具体实现中采用的是带有方差限制（Var）的操作方法：正态分布均值设为用户的真正交互过的物品对应的梯度均值计算结果，并基于商品嵌入层输出的结果构建协方差矩阵（Cov）。其中协方差矩阵基于商品嵌入层输出的梯度计算得出。
Local Graph Expansion
通过第三方服务器扩大邻接用户。
具体而言, server端维护公钥, client端维护私钥。
client将个人嵌入信息以及与之交互过的物品ID列表上传至第三方服务器,这些经过同态加密后上传到third-party server,该平台无法获取具体内容但能够进行比较,通过比对最终推导出共同拥有一项物品的用户及其对应的嵌入表示,并将此结果反馈至客户端。
从这些邻居嵌入中推导出二阶邻居节点,并基于扩展后的user-item图完成GAT学习,随后将梯度反馈至central server完成本次batch的学习过程。
总结
模型相对简单有效。