LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION
LIGHTGCL: SIMPLE YET EFFECTIVE GRAPH CONTRASTIVE LEARNING FOR RECOMMENDATION
1.ABSTRACT
图神经网络（GNN）与对比学习相结合的方法在推荐系统中展现出卓越的效果，并且这种结合方式能够有效提升模型性能。然而，在现有的图对比学习方法中存在明显的局限性：一方面，在用户-物品交互图上执行随机增强（如节点和边的随机扰动），这种方法虽然简单直观但缺乏深度；另一方面，则依赖于基于启发式的增强技术（如用户聚类），这种方式虽然能够一定程度地提高鲁棒性但牺牲了对细节信息的关注能力。研究表明这些方法难以有效保持潜在的语义信息并且容易受到数据噪声的影响进而影响模型性能本文提出了一种名为LightGCL的新方法它通过奇异值分解技术提取关键特征并在对比增强阶段实现了对数据稀疏性和流行度偏差的有效对抗实验结果表明LightGCL相比现有最先进的模型在推荐性能上有了显著提升同时其对噪声干扰具有较强的鲁棒性
2.INTRODUCTION
基于GNN的信息传播机制通过叠加多个消息传递层来挖掘用户的高阶关联关系以提升用户的表示能力这一过程具有较高的研究价值；现有的大多数基于GNN的协同过滤模型主要采用监督式的学习策略这种方法虽然在理论上具有一定的可行性但需要大量的高质量标注数据才能实现较好的性能表现；为了缓解标签稀疏的问题最新的研究工作倾向于采用对比学习的方法通过这种方式能够有效地提升数据利用率；然而对比学习的效果往往受限于数据增强的具体实现策略这使得其应用范围受到了一定的限制；此外随机扰动可能导致有用的信息丢失从而影响到后续的学习效果；与此同时基于视图生成器构建的启发式方法虽然在一定程度上缓解了这些问题但其全局建模能力仍然有待进一步提升并且容易受到噪声干扰的影响；现有的大部分基于GNN的设计普遍面临表示过平滑的问题这使得模型难以有效地区分正负样本这对实际应用中的区分能力提出了较高的要求；针对上述技术瓶颈本文提出了一种新的图对比学习框架LightGCL这种方法通过奇异值分解（SVD）的方式进行图增强能够有效地提取用户-物品交互关系的同时也能捕捉全局协同过滤的重要特征从而实现了对原始图中关键语义信息的有效保留
3.METHODOLOGY
3.1 局部图依赖建模
- 用户ui和物品vj的嵌入向量分别是ei(u)e{(u)}_i,ej(v)e{(v)}_j∈RdR^d
- 所有用户和物品嵌入的集合定义为E(u)E{(u)}∈RI×dR{I×d} 和 E(v)E^{(v)}∈ RJ×dR^{J×d}，其中 I 和 J 分别是用户和物品的数量
- 使用两层GCN来聚合每个节点的邻居信息，在第ll层，聚合过程表示如下：
其中zi,l(u)z{(u)}_{i,l}$和$zj,l(v)z{(v)}_{j,l}分别代表用户uiu_i和物品vjv_j在第l层的嵌入；σσ为LeakyReLU函数；\tilde{A}为归一化邻接矩阵I \times J$；pp为edge dropout，用于缓解过拟合问题。
节点的最终嵌入由各层嵌入之和构成，并基于用户uiu_i与物品vjv_j最终嵌入之间的内积计算出用户的偏好程度。
3.2 高效的全局信息挖掘（奇异值分解）
- 在处理归一化矩阵\tilde{A}的过程中，我们对其实施奇异值分解(SVD)，即\tilde{A}=USVT。其中U和V均为I\times J的正交矩阵。
- S为I\times J的对角矩阵，在其中存储着\tilde{A}的所有奇异值。
- 为了保留前q个最大的奇异值并重建邻接矩阵\hat{A}=U_q S_q V_q^T。
- 其中U_q \in \mathbb{R}^{I\times q}、V_q \in \mathbb{R}^{J\times q}、S_q \in \mathbb{R}^{q\times q}分别代表选取前q个左奇异向量、右奇异向量以及对应的非零最大奇异值组成的对角矩阵。
- 该重构过程生成了原始邻接矩阵\hat{A}的一个低秩近似表示，并保留了原始数据中的主要成分。
- 此外该过程考虑了每一对用户与物品之间的潜在关联关系从而能够有效地挖掘全局信息特性。
- 在构建完成后的图模型上执行消息传播过程以实现信息的有效扩散
然而，在大规模矩阵运算中执行SVD运算会产生较高的计算开销，在实际应用中并不具有可操作性。为了提高效率，在本研究中我们引入了Halko等人的随机SVD算法。该方法的核心思想是通过低秩正交矩阵对原始数据矩阵进行低秩逼近，并在此基础上完成SVD分解以获得对原矩阵的近似奇异值分解结果
重写消息传播规则
L_u Gl(u) 和 L_v Gl(v) 是重构图中的嵌入表示。无需对矩阵 A_SVD 进行求取运算即可完成构建任务；相反地，在预处理阶段能够存储 U_q, S_q 和 V_q 以进一步提升模型运行效率。
通过计算 SVD 增强的视图嵌入 g^{(u)}_{i,l} 和 z^{(u)}_{i,l} 的信息负增量损失（InfoNCE），有助于简化 CL 框架的设计。
s(⋅)和s(·)分别用于计算先期相似度，在此过程中ττ被定义为温度系数。在InfoNCE损失计算中采用相同的方法来获取物品之间的相似性表示。通过随机丢弃部分节点来防止过拟合现象的出现。
对于每个用户i及其与正类物品Ps的相关性\hat{y}_{i,p_s}来说，在计算过程中我们希望其最大化；而对于每个用户i及其与负类物品Ns的相关性\hat{y}_{i,n_s}来说，则希望其最小化。
对比损失和推荐任务目标函数联合优化。
4.EVALUATION
RQ1: 与各种 SOTA 基线相比，LightGCL 在不同数据集上的表现如何？
从表中可以看出，与传统的方法（LightGCN、HyRec等）相比最新的方法（SGL、HCCF、SimGCL）表现出优越性，它们也比自监督学习方法（MHCN）更好，这得益于对比学习均匀分布嵌入的有效性。
LightGCL始终优于基线方法，归因于挖掘全局信息来增强图对比学习，其他推荐器容易受用户交互噪声影响，产生误导性的自监督信号。
RQ2: LightGCN如何提高模型效率？
SVD 重建图的低秩性质和简化的 CL 结构使 LightGCL 的训练非常高效。
