论文《Dual-Contrastive for Federated Social Recommendation》阅读
论文《Dual-Contrastive for Federated Social Recommendation》阅读
- 论文综述
- 动机
- 方法论
-
客户端本地计算
- 中心服务器数据汇总
-
总结
-
今天对这篇关于联邦推荐领域的论文《Dual-Contrastive for Federated Social Recommendation》进行了简要概述。主要目的是介绍论文的核心思路与研究框架，在此不做详细展开 pipeline 的具体实现细节
论文概况
由宁波大学Linze Luo等研究者撰写的论文发表于IJCNN 2022年会议（该会议属于CCF C类）。该论文开发出了双对比联邦社交推荐模型DFSR（Dual-Contrastive Federated Social Recommendation）。主要将对比学习融入联邦化社交推荐体系中，并对嵌入精炼过程进行了优化。该论文在结构安排上存在一定混乱，并且写作质量有待提升。为了解决这些问题，在数据流管理框架下重新组织论文内容。
Motivation
该研究者特别关注联邦学习中的非独立同分布问题，并指出其中的关键特征在于：每个客户端对应一个独特的用户群体；而不同用户的偏好各具特色；由此导致该非独立同分布情况对系统性能产生了负面影响。
Methodology
在此处的介绍中
Client Local Computing
在本地环境下进行矩阵分解运算的基础上实现推荐算法的具体步骤如下：
在此基础上增添两个对比项：（1）社会化对比项以及（2）物品侧对比项。其中通过社会化对比项可以看出：通过该方法可以使好友之间产生更强的关联性，并使非好友之间的关联性显著降低。其中加入了阈值作为过滤标准，在具体的训练过程中，在最初的几个阶段不进行这一操作。从而实现了更加精确的嵌入表示。
\begin{aligned} L_{U-Con} &\text{被定义为取倒数后的分数乘以求和项的累加运算：}\frac{-1}{|\boldsymbol U_i|}\sum_{\boldsymbol u_j∈{\boldsymbol U}_i}-\\&\quad\Log_{}\frac{\Exp_{}\bigl(相似度（{\boldsymbol u}_i, {\boldsymbol u}_j）/τ_u\bigr)}{\Exp_{}\bigl(相似度（{\boldsymbol u}_i, {\boldsymbol u}_j）/τ_u\bigr)+J_i}.\\ J_i &\texttt{Tie上行花括号内的指数函数求和运算赋值给变量J_i.}\\ 然后将集合̃ U_i'更新为满足条件的所有向量集合：̃ U_i'← { {\boldsymbol u}_k | 相似度（ {\boldsymbol u}_i, {\boldsymbol u}_k）= (2)}.
这里的 U_i^{\prime} 表示 随机采样的 非邻接用户。
（2）基于物品侧的对比项设计使得在上一个epoch中生成的参数与其经过聚合后的全局参数趋于接近的同时自身与其上一个迭代周期自身的距离保持一定疏远度具体实施时可参考以下步骤
\begin{aligned} L_{V-Con}&= -\log\left( \frac{\exp(o_{global})}{\exp(o_{global}) + \exp(o_{prev}))} \right), \\ o_{global} &= 计算输入向量在当前时间步与全局向量之间的相似度（归一化后），\\ o_{prev} &= 计算输入向量在当前时间步与前一个时间步之间的相似度（归一化后）。 \end{aligned} \tag{3}
L=L_{MF}+\mu_u L_{U-Con}+\mu_v L_{V-Con}. \tag{4}
经过固定的训练周期 E 的学习过程后，在本地环境中完成模型的训练任务。随后将计算得到的各参与方模型梯度信息通过特定通道传输至中心节点处进行聚合处理。
在梯度传输操作的过程中，在原有机制的基础上引入了 Local Differential Privacy 技术保障数据隐私的安全性，在此阶段不做详细展开说明。
Center Server Aggregation
该服务器基于 interacted item 的数量 作为权重 而进行加权求均值 并完成数据聚合。
其数学表达式为：
w_{t+1} = \sum_{i \in S_t}\frac{N_i}{n_\sigma} W_{t+1}^i, \quad n_\sigma=\sum_{i \in S_t} N_i. \tag{5}
总结
在基于联邦学习的社会化推荐基础上，加入了两个对比化项，完成本文。