TransGNN: Harnessing the Collaborative Power of Transformers and Graph Neural Networks for Recommend
TransGNN: Exploiting the Synergistic Potential of Transformers and Graph Neural Networks for Enhancing Recommender Systems' Performance at SIGIR24
摘要
图神经网络 (GNN) 通过对用户-项目交互图进行建模，已成为协作过滤 (CF) 的有前途的解决方案。现有基于 GNN 的推荐系统的核心涉及沿着用户-项目交互边缘传递递归消息以细化编码嵌入。 尽管它们已被证明是有效的，但当前基于 GNN 的方法遇到了有限感受野和存在噪声“兴趣无关”连接的挑战 。相比之下，基于 Transformer 的方法在自适应和全局地聚合信息方面表现出色。 然而，它们在大规模交互图上的应用受到固有的复杂性和捕获复杂、纠缠结构信息的挑战 的阻碍。 在本文中，我们提出了TransGNN，这是一种新颖的模型，它以交替的方式集成 Transformer 和 GNN 层 ，以相互增强它们的能力。 具体来说，TransGNN 利用 Transformer 层来拓宽感受野，并从边缘解开信息聚合，从而聚合来自更多相关节点的信息，从而增强 GNN 的消息传递。 此外，为了有效捕获图结构信息，位置编码被精心设计并集成到 GNN 层中，将此类结构知识编码为节点属性，从而增强 Transformer 在图上的性能。 通过提议对 Transformer 最相关的节点进行采样，以及两种有效的样本更新策略来降低复杂性，也减轻了效率方面的考虑。
框架
首先通过注意力采样模块中语义相似性和图结构信息的考量来进行中心节点的相关节点采样。随后在位置编码模块中计算位置编码以便于Transformer捕获图拓扑信息。接着我们采用由三个子模块组成的TransGNN架构：第一层是Transformer层第二层是GNN层第三层是样本更新子模块。其中Transformer层能够扩展其感受野并高效地聚合注意力样本的信息而GNN则有助于增强Transformer对图结构信息的感受力从而获取更多邻居节点的相关信息。最后通过集成样本更新子模块实现注意力样本的有效更新
注意力采样模块
计算整个用户-项目交互图的注意力
位置编码模块
为深入探索 Transformer 拓扑结构，在推荐系统领域中我们开发了三类专门针对推荐场景的位置编码方案：基于最短路径跳跃的位置编码、基于度数的位置编码以及基于 PageRank 的位置编码方案。其中前两种方案主要表征用户与物品之间的关联程度，并旨在突出用户的互动频率与物品受欢迎程度的多样性。
1. 基于最短路径的位置编码
交互图中的用户-项目接近度可以暗示用户的偏好；对于每个用户而言，在项目之间的距离（反过来也一样）可能会产生不同的影响；为了更好地封装这一概念，请问您是否愿意继续？具体来说，请问您是否愿意继续？我们将最短路径跳跃矩阵命名为 P；请详细解释这一过程；对于每个节点 v_i ∈ V 及其注意力样本节点 v_j ∈ Smp(v_i)，将注意力样本节点 v_j 的编码（SPE）基于位置的最短路径跳跃计算为：
2. 基于度的位置编码
degi 是节点i的度
3. 基于pageRank的位置编码
通过获取三种位置编码后 ，将节点的嵌入信息与相应的空间位置编码进行结合，并对这些信息进行处理以得到图中各个节点的最终表示H。
3. TransGNN模块
(i) Transformer 层、(ii) GNN 层和 (iii) 样本更新子模块组成
(1) transformer层
（2）GNN层
（3）更新子样本模块
随机游走更新
基于消息传递的更新
该种基于随机游走的更新策略具有一定的计算开销。 为了减少资源消耗并提高效率，在此我们提出了一种无需额外计算即可实现消息传递的新策略。 具体而言，在GNN层的消息传递机制中整合了每个中心节点及其邻近节点的关注度信息，并通过自适应权重分配机制实现了对相关关注度信息的有效融合与传播。 这一设计的核心理念在于通过引入新的加权方式使得相邻区域的重要程度能够得到更加合理的表征。
模型优化
根据 transGNN模型，选择用户 u，一次预测用户在每一个时刻选择的物品。