论文解读《Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation》
一、摘要
本文关注图推荐技术，并提出了一种基于元路径指导的嵌入方法（MEIRec）。该方法通过构建异构图中节点的向量表示，并结合元路径指导的学习机制来优化嵌入效果。为了降低模型参数规模带来的计算负担，在嵌入空间中实现了具有相同term的目标项映射到同一空间中。实验结果表明，在保持原有性能优势的同时，该模型能够实现淘宝ctr提升1.54%并吸引2.66%新用户的搜索兴趣
二、方案
2.1、介绍
图中展示了一个淘宝应用程序上的意图推荐示例
意图推荐需要涉及用户行为特征、商品属性特征以及商品查询特征三者之间的互动关系（即三个核心实体：用户、物品、查询）；而传统的基于二元关系的推荐算法仅能聚焦于用户与商品之间的互动关系。
论文共有两个主要创新点：
- 首次提出了一种能够综合考虑上述三者之间相互作用机制的表示方法；
- 在现有商品数量已经庞大并持续增长的前提下，在建模过程中采用term embedding方法不仅能够有效降低计算复杂度，并且能更好地适应平台的商品多样性。
此外，在建模过程中作者还提出了一种基于term embedding的技术方案来建模商品及其相关查询行为。
2.2、定义
我们设定一组数据集 <U,I,Q,W,A,B> ，其中 U = {u₁,…,uₚ} 代表用户群体；同时包含物品集合 I = {i₁,…,i_q}；以及查询数据库 Q = {q₁,…,q_r}；并附加数据集 W = {w₁,…,w_n}；A记录各个对象的属性信息；.B则描述了各实体间的行为互动。In our study中设置了一个场景，在这个框架下探讨如何根据历史信息 A 和 B 对用户 u∈U 推荐最合适的意图 q∈Q。The items and queries in this framework are constructed using terms such as 'air', 'jordan', and '12'.
论文使用了一个heterogeneous graph <V,E>来表示该问题。其中 <U,I,Q> 代表node representations，并包含丰富的relational structures,例如: user-purchase-item interactions, user-intentions, intents-containing-items relations等。元路径指的是连接两个对象的关系序列
如 图所示，在 图 1 中展示了一个 基于 HIN 的 toy example 和 其对应的 network structure. 可以看出该网络模型由不同类型的节点（如 用户 U、项目 I 和 查询 Q）及其复杂的关联关系构成. 其中 包含着丰富的信息资源, 如 图所示. 具体而言 "User − Item − Query (UIQ)" 这一特定元路径反映了 用户对某些项目的点击行为, 这些项目的引入主要依赖于 相关的查询数据. 另一方面 "Query − User − Item (QUI)" 则体现了某一项查询结果被多个用户检索后, 这些活跃的检索者也倾向于对相关的内容进行浏览.
Metapath-guided Neighbors 定义
2.3、模型
整体结构如下图所示
2.3.1、Uniform Term Embedding
如果我们采用传统的协同过滤方法或基于神经网络的架构来表示所有的用户与查询，则会面临一个巨大的问题：参数数量急剧增加（即数十亿个用户与查询将导致参数数量急剧增加）。然而由于每个item的查询信息及标题都由term构成，并且term的数量相对较少（即term的数量远少于整个数据规模），因此我们可以通过少量term的嵌入来分别表征每个查询项及其相关项（即能够显着减少参数数量）。 在获得了这些term的嵌入向量之后（即通过学习得到了各个term对应的向量空间表征），接着我们可以运用multi-shot的技术对每个查询项及其相关项进行第二次嵌入表征（如图所示）。
函数 g() 表示对term embedding的操作方法，论文使用均值。
2.3.2、元路径指导的异构图神经网络
为获取对象在不同阶段的邻居信息，
User和Query的嵌入表示通常是在各自不同的元路径下进行聚合的结果。
异构图神经网络的基本思路通常是将Query和User通过term embedding技术进行表征，
然后通过多样的元路径对目标对象进行深入表征，
最后将所有来源路径的信息整合，
从而得到最终的结果。
我们通过UIQ(query guided item, item interacted by user)元路径对用户的嵌入表示进行融合处理。具体而言, 首先我们需要获取用户的直接互动对象及其相关的查询项, 然后将这些关联查询与用户的直接互动对象进行融合, 最后将融合后的信息进一步整合到目标节点中。
公式（3）表明如何将查询项的二阶邻居特征与对应的项目节点进行关联处理，在此过程中函数g()扮演着特征融合的角色，并采用了均值计算的方式获取最终特征向量
公式（4）则描述了基于一阶邻居节点的融合过程；基于此，在获取不同元路径下的用户嵌入表示后，
我们通过LSTM模型来进行融合操作。
公式（6）表示的是查询嵌入的获取公式：
在query嵌入提取过程中，融合方法采用的是cnn模型。随后获得user embedding与query embedding后，并额外引入了一些静态特征（Sij），如用户画像及交互行为数据等信息。这些特征将通过全连接层进行综合分析，并结合点击行为指标作为输出结果预测依据。
loss 函数如下
在不同类型的节点中邻居节点的不同性质决定了它们所使用的聚合函数类型。具体而言，在user节点的情况下（即用户节点），由于其邻居具备时间序列特征（即行为具有时序性），因此这些邻居被建模为序列结构并采用LSTM这种RNN方法以获得更好的聚合效果。而对于query节点的情况（即查询节点），由于其邻居不具备时间顺序属性，在文章中显示通过CNN方法进行聚合能够获得更好的效果。
三、实验
