KGNN-LS 2019 (KDD) Knowledge-aware Graph Neural Networks with Label Smoothness Regularization for Re

推荐中引入知识图谱的优点

基于异构网络的知识架构中，节点用于表示实体如物品、产品等以及它们所具有的属性与特征；边则反映了实体间的关系。知识图谱能够反映一系列实体间存在的各种相互关联及其结构信息；由此可见，在这种架构下能够反映出不同物品间存在的各种相互关联以及它们所蕴含的语义关联。

提出背景

已有若干研究致力于运用GNN架构构建推荐系统。然而，在现有的研究中发现，在实际应用场景中所涉及的知识体征往往呈现出高度复杂性与多样性特征（即所谓的异构性），这便引出了一个亟需解决的关键挑战：如何将现有的深度学习架构有效拓展至异构知识图谱框架之下？本研究致力于将深度学习架构从传统的节点间关系建模拓展至复杂的知识图谱环境，并在此过程中深入探究不同实体间的语义关联机制以及个性化需求之间的动态平衡关系

本文提出的方法

本文所采用的方法是基于特定用户的视角展开的

数学定义

基本架构

Preliminaries: Knowledge-aware Graph Neural Networks

第一步：将知识图谱转化为特定用户的邻接矩阵。特定用户对关系的评分形成了一个与用户相关的评分邻接矩阵，并用数学表达式s_{u}(r)=g(\mathbf{u}, \mathbf{r})来表示这一影响程度；对于指定用户u来说，则形成了一个与该用户的特定关系评分邻接矩阵

• step2：层级别的前向传播
  \mathbf{H}_{l+1}=\sigma\left(\mathbf{D}_{u}^{-1 / 2} \mathbf{A}_{u} \mathbf{D}_{u}^{-1 / 2} \mathbf{H}_{l} \mathbf{W}_{l}\right), l=0,1, \cdots, L-1
  其中H_0=\bold E，\bold H_l是第l层的实体集合的表示。
  单个GNN层通过自身及其在KG中的直接邻居来计算实体的表示。

Label Smoothness Regularization

本文的方法与传统图神经网络存在显著差异：在传统GNN架构中，默认条件下边权重被视为固定值；而我们提出的模型创新性地采用了基于节点度矩阵逆平方根计算得到的动态可学习边权重\mathbf{D}_{u}^{-1 / 2} \mathbf{A}_{u} \mathbf{D}_{u}^{-1 / 2}；这种设计同样得到了可监督学习机制的关注与支持。尽管如此，在提升模型表现的同时也带来了新的挑战：由于监督信号仅来源于外部用户-项目交互数据这一来源限制；导致优化过程中容易陷入过拟合风险；这在实际应用中表现得尤为明显：因为监督信号仅能从外部交互数据中提取有限信息；难以充分约束模型行为；从而影响其泛化能力。此外；在图表示学习过程中；边缘权重的确切作用不容忽视；因此为了进一步提高模型泛化能力；建议采取更为严格的正则化手段来辅助实体表征构建；从而实现更好的泛化性能。

联合损失函数

该模型旨在最小化以下损失函数：

\texttt{minimum}_{\mathbf{W}, \mathbf{A}} \, \mathcal{L} = \texttt{equals the following expression},

其中包含三个部分：

1. 数据重建损失项，
2. 矩阵稀疏性惩罚项，
3. Frobenius范数的惩罚项。

数据集

• MovieLens-20M
• Book-Crossing
• Last.FM
• Dianping-Food

https://www.ofweek.com/ai/2020-03/ART-201700-8300-30431204.html