DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation

DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation（CIKM20）

摘要

异构信息网络因其能够建模用户-物品交互中的丰富上下文信息，已被广泛应用于缓解推荐系统中的稀疏性和冷启动问题。图神经网络通过图上的传播能够编码这些丰富的上下文信息。然而，现有的异构图神经网络忽视了来自不同方面的潜在因素的纠缠。此外，现有方法中的元路径被简化为连接路径或节点对之间的边信息，忽视了路径中的丰富语义信息。本文提出了一种新型的解耦异构图注意力网络 DisenHAN，用于 top-𝑁 推荐，它可以从异构信息网络中学习来自不同方面的解耦用户/物品表示。特别地，我们使用元关系来分解节点对之间的高阶连接性，并提出了一种解耦嵌入传播层，能够迭代地识别元关系的主要方面。我们的模型为目标用户/物品聚合来自每个元关系的对应方面特征。通过不同层次的嵌入传播，DisenHAN 能够显式地语义化地捕捉协同过滤效果。

引言

推荐系统在引导用户从大量选择中个性化地发现感兴趣的产品方面发挥着重要作用。基于协同过滤（CF）的方法（例如矩阵分解[18]）已被广泛应用于推荐系统，假设做出相似选择的用户在未来有相似的偏好。然而，由于基于协同过滤的方法通常受到用户-物品交互的稀疏性和冷启动问题的困扰，许多方法通过将交互转化为具有丰富特征的数据实例来集成其他上下文信息，这些实例随后被监督学习模型用于预测评分[7, 28]。然而，这些方法总是将每个用户-物品记录视为独立实例，忽视了它们之间的关系。

异构信息网络（HIN）由多种类型的节点和/或链接组成，能够灵活地建模用户-物品交互的异质性和复杂性，并蕴含丰富的上下文信息。特别地，元路径作为连接HIN中节点对的复合关系，被广泛用于捕捉两个节点之间的相关语义。近年来，利用HIN进行推荐的努力将每个用户、物品和上下文实体表示为不同类型的节点，并可以分为两类。第一类方法利用元路径或知识感知嵌入来编码用户和物品之间的相关性，随后使用这些相关性来提升推荐性能[1, 4, 14, 25–27, 40, 42, 43]。第二类方法由于图神经网络（GNN）强大的表示能力，直接使用GNN框架通过聚合邻域信息来获得更好的用户和物品表示[8, 30, 34–37]。

然而，这些研究存在几个共同的局限性。首先，大多数工作未能解耦潜在因素。如上图所示的示例，电子产品的特征来源于多个方面。由于不同类型的连接反映了节点的不同方面，因此学习解耦表示比保留HIN中因素的混合更自然、更合适。其次，现有工作直接将元路径简化为边信息或连接路径，忽视了每个因素的具体影响。实际上，不同的语义关系对相应的解耦因素有特定影响。例如，用户购买了这款产品，表明该产品在某些群体中很受欢迎；该产品是笔记本，适合办公室人群；品牌是苹果，深受粉丝欢迎。第三，由于以上两点，这些方法导致了模型的鲁棒性差和可解释性低，即它们无法显式地建模用户对具有特定特征的物品的偏好。因此，在HIN中学习解耦表示是适合推荐的。特别地，用户和物品的表示可以解耦为相同的方面 。通过计算目标用户和物品在不同方面的匹配得分，可以显式地建模用户对具有特定特征的物品的偏好 。

本文提出了一种新型的解耦异构图注意力网络 （DisenHAN）用于推荐。与其利用混合的影响因素，我们提出的方法显式地建模来自不同方面的因素及其对应的语义关系影响。具体来说，我们将用户-物品交互表示为一个HIN，其中包含不同类型的节点及节点对之间的相应关系。给定节点特征作为输入，我们将其投影到不同的嵌入空间，并提出一种语义嵌入传播层来识别信息流中的主要方面 ，将其视为嵌入空间中的迭代聚类过程。此外，本文不手动设计元路径，而是采用节点的一跳关系，并使用注意力机制柔性地生成元路径 。通过堆叠多个嵌入传播层，每种类型的节点，特别是用户和物品，从不同的元路径聚合嵌入，以捕捉高阶连接中的语义信息。

总结来说，本文的贡献如下：

1. 我们提出了在HIN中为推荐学习不同方面的解耦表示。据我们所知，这是首次在异构图神经网络中研究解耦表示的工作。所提出的机制可以潜在地推广到其他基于HIN的应用中。
2. 我们提出了解耦嵌入传播层，能够迭代地识别节点对之间关系的主要方面，并语义化地传播相应的信息。此外，我们通过自动提取元路径，使模型更具实用性。

相关工作

1基于HIN的协同过滤方法

基于HIN的协同过滤（CF）方法已经被提出，以避免在处理每个用户-物品交互时忽视丰富的上下文信息。特别是HIN中的元路径，它们被描述为节点对之间的语义关系，可以通过网络架构定义并用于推荐。例如，Shi等人[26, 27]计算了用户之间基于元路径的相似性，并根据相似的用户推断评分。Yu等人[40]和Zhao等人[43]在矩阵分解中使用各种类型的元路径连接用户和物品，以生成潜在特征进行推荐。Shi等人[25]和Hu等人[14]显式地提取连接用户与物品的元路径，并将元路径的表示整合以提高推荐效果。Han等人[10]从不同的元路径中提取了层级因子，并通过注意力机制融合这些因子用于推荐。然而，定义有效的元路径需要领域知识，并且传统上是劳动密集型的。由于知识图谱（KG）可以视为一种特殊的HIN，一些研究也利用知识感知嵌入来指导物品表示的学习。Ai等人[1]学习知识图谱嵌入来找到用户与物品之间的连接路径。Cao等人[4]和Zhang等人[42]联合学习协同过滤中的潜在表示，以及来自KG的物品语义表示。然而，由于缺乏显式编码协同过滤信号（反映用户/物品的行为相似性），很难捕捉到高阶连接性[37]。

2 图神经网络

图神经网络（GNNs），特别是门控图神经网络（GGNN）[19]、图卷积网络（GCN）[17]、图归纳表示学习（GraphSAGE）[9]和图注意力网络（GAT）[32]，近年来受到了广泛关注。GNNs的核心思想是通过神经网络聚合节点邻居的特征。与传统的图嵌入模型相比，GNNs显式地以端到端的方式利用图中的高阶连接信息，这非常适合下游任务，尤其是推荐任务。例如，GC-MC[30]和NGCF[37]在用户-物品二分图中利用GNNs进行协同过滤。KGAT[36]、KGCN[35]和KGCN-LS[34]将物品扩展到知识图谱，并利用GNNs增强物品的表示。尽管这些工作利用GNNs进行推荐，但它们直接从不同类型的节点聚合信息，而忽视了相应的语义关系。最近，一些基于HIN的GNNs被提出用于信息传播[8, 15, 38, 41]，但仍然忽视了节点对之间语义信息的不同方面。

3 解耦表示学习

解耦表示学习旨在学习将数据背后变化的解释性因素分离的表示[3]，近年来受到了广泛关注。这些表示不仅被证明更加鲁棒，即提高了泛化能力和对抗性攻击的鲁棒性[2]，还使得下游过程更加可解释，可以直接应用于语义数据的各个领域，如图像[5, 6, 13]、文本[16]和用户行为[22]。对于图结构数据，GAT执行多头注意力来联合关注来自不同表示子空间的信息[32]，而且对每个子空间的处理是等同的，这可以视为解耦表示学习的一种特殊情况。PolyDeepwalk[20]注意到节点的多个方面，但在两个阶段中分别学习解耦的嵌入。受到胶囊神经网络（CapsNet）[24]的启发，一些研究用向量值神经元代替标量值神经元，在同质网络的GNNs框架中学习解耦的节点表示[21, 33, 39]。我们的工作集中于在HIN中学习解耦表示，这是一种更复杂的数据结构，具有不同的节点类型和关系。

问题定义

3.2 元路径和元关系

模型框架

概述

解耦内容变换

解纠缠传播层

1. 关联内聚合

2. 相互关系聚合