RippleNet: Propagating User Preferences on the KnowledgeGraph for Recommender Systems

论文详解

一、 摘要：

针对协调过滤所面临的数据稀疏性和冷启动问题而言，在实际应用中研究人员通常会利用边信息来进行辅助推荐工作

类似于水流对物体表面的冲击波效应，RippleNet系统通过在知识图谱节点集合上扩散用户的兴趣信息，在这一过程中逐步沿着已建立的链接关系向外延伸其潜在吸引力。

由此可知，在触发用户的多个历史点击项后会叠加出多个"涟漪"来构成用户的偏好分布这一结构特征，并且这种偏好分布能够用于预测最终的点击概率。

基于大量真实世界的数据集进行系统性实验研究后发现

二、引言

推荐系统（Recommender systems, RS）旨在实现为用户寻找一组满足其个性化兴趣的小商品以缓解信息爆炸带来的负面影响

在推荐策略中，在协同过滤（CF）方法下，则通过分析用户的使用历史行为并依据潜在的共同偏好关系来进行商品或服务的个性化推荐取得了显著成效；然而，在协同过滤方法应用过程中通常会遇到用户与商品之间交互数据稀疏以及 cold-start 问题；针对上述缺陷，在研究领域中提出了整合 side-information 到协同过滤方法中的思路；具体而言，则是将社交网络平台提供的信息、属性特征数据、图片以及环境因素等纳入协同过滤模型进行综合考量

在各种类型的边信息中，知识图谱（KG） 通常能够更加全面地涵盖项目中的实体关系及其关联性。

KG用在推荐的好处：

KG基于项目之间的语义关联性，并有助于揭示它们之间潜在的联系；从而显著提升了推荐项目的准确性。

（2）多样性 由于多种类型的相互关系构成，在合理维护用户利益的同时提升了推荐项目多样性的水平。

KG通过建立关联将用户的浏览历史与推荐内容连接起来，并以此为推荐系统带来高度透明度的可解释性。

现有的KG结合推荐可分为两类：

基于嵌入的方法通过嵌入技术实现，在利用知识图谱（KG）来辅助推荐系统方面展现出强大的适应性；然而，在这些方法中所采用的KGE算法通常主要用于诸如链接预测等图形应用，并不适用于传统的推荐场景。

以路径为基础的方法能够更加直接且易于理解地运用知识图谱（KG），然而它们高度依赖于人工预设的元路径，在实际应用中难以实现有效的优化。另一个局限性在于，在涉及不同领域的情境（如新闻推荐等具有跨域特征的应用）中，则无法通过手工构建元路径来解决相关问题

三、Ripple net

输入： 用户项目对

输出： 用户参与（如点击、浏览）项目的概率。

关键思想：偏好传播。

对于每个用户来说,RippleNet将用户的过去偏好记录被看作是知识图谱中的初始集合,然后通过遍历知识图谱中的连接逐步推导出用户的潜在兴趣,从而进一步挖掘与其相关的潜在兴趣层次。

我们可以将偏好传播与其在水面上传播所形成的实际涟漪进行对比分析，在这些相互叠加的'涟漪'中，用户最终形成了对知识图的偏好分布。

RippleNet与现有文献的主要区别体现在其融合了前人提出的一些优秀解决方案的优点：

（1）RippleNet通过偏好传播自然地将KGE方法融入到推荐中；

RippleNet具备自动发现能力，并能在用户的使用历史记录中识别出潜在的连接途径。该系统能够自动完成从历史记录到候选项目的匹配任务，并在无需人工干预设计流程的情况下实现这一目标。

水波模型：RippleNet的核心理念是兴趣扩散：通过将用户的点击历史作为知识图谱中的初始种子节点，并逐步向外扩散用户的兴趣偏好。这个过程类似于水波在平静湖面上传播的效果（如图所示），以 Forrest Gump 为例，在不同传播层次上形成的同心环分别代表各层跳跃范围内的 ripple sets（波纹集）。需要注意的是，在这一过程中关注的并非最终结果本身而是其路径变化规律——随着传播层数增加逐渐减弱。这种机制使得RippleNet能够自动识别潜在连接途径而无需人工设计任何中间层结构或元路径

问题定义： 构建交互矩阵 Y 和知识图谱 G ，我们旨在预测用户 u 是否对他未曾交互过项目的 v感兴趣 。我们的目标是学习一个预测函数

，其中

是用户u点击v的概率。

Ripple Set

定义1：相关实体

给定交互矩阵 Y 和知识图谱G ，用户u的k跳相关实体集合为：

其中

即用户过去点击过的items，即KG中的起点。

定义2：波纹集

用户u的k跳Ripple集定义为从

开始的知识三元组：

PS：知识三元组

三元组的基本形式主要包括(实体1-关系-实体2)和(实体-属性-属性值)等

例如：中国的概念属于实体范畴，在知识图谱中'中国'与'首都'之间的关系被记录为'北京'这一节点所处的位置。北京市作为一个独立的政治中心也被视为一个实体，在知识图谱中它与'首都'之间的关系被记录为'中国'这一节点所处的位置。在知识图谱中'中国'与'首都'之间的关系被记录为'北京'这一节点所处的位置；在知识图谱中北京市作为一个独立的政治中心也被视为一个实体；在知识图谱中北京市的人口数据与''2069.3''万这一数值之间建立了直接关联。

Ripple set 存在的问题：随着跳数K的增加，其大小可能会变得很大。

解决：

（1）一个KG中大部分实体没有出度，只有入度。

（2）在与电影或书籍推荐相关的特定场景中，可以通过限制关系到与场景相关的类别来减少ipple集合的规模并提升实体间的相关程度。

（3）实验证明，用户的兴趣往往在几跳之内。

（4）在RippleNet框架内，我们能够抽取固定大小的邻域集而非采用整个RippleNet框架，并从而进一步降低计算成本。

框架

RippleNet将用户u和项目v作为输入，并输出用户 v 的预测概率。

对于用户u ，将其历史兴趣

作为种子，在上图中可以看到最初的起点是两个，之后不断向周围扩散。

Ripple set

是远离起点

的k跳三元组集合。

接下来说一下整个模型是怎么进行兴趣传播的：

在RippleNet系统中基于更细致的粒度分析的方法下，在深入研究用户与项目之间的互动关系时

每个 item v 和 item embedding V 属于 Rd 空间中的向量，在这种情况下 d 表示嵌入空间的维度数。在不同应用场景下，在实际应用中可以通过整合项目的 one-hot ID、属性特征、词袋模型或上下文信息来构建 item embedding 的具体表示形式。

1.计算与item embedding的相关概率

给定item embedding v 和用户u的1跳ripple set

，

中的每个三元组

通过比较item v与该三元组中的头

和关系

来分配相关概率：

在其中,R i 和 h i 是关系和头的表示. 相关概率pi被视为项目 v 和 实体hi 在关系空间Ri中的相似度, 不同的是每个 Ri 的关系空间计算出的结果各不相同.

2.计算输入向量

在得到相关概率后， 将

中三元组的尾部乘以相应的相关概率进行加权求和，得到 :

该用户的兴趣体现为对item v的一阶反应，在上述操作下，用户的兴趣源于其初始历史记录。

转移到了一跳的相关实体

中。

3.偏好传播

将上式中的 v替换成

，反复执行这一流程即可实现将用户兴趣持续向外扩散的过程。我们能够逐步获得相应的数据支持。

。

最终用户的特征可以被融合地计算为不同阶次的响应；亦即, 用户u对于项目v的最终embedding为:

论文中提到尽管最后一阶的反应包括了之前所有的信息 但由于这些信息在传播过程中逐渐被削弱 并且为了全面性仍然认为应该将之前的o纳入考量

4.最后预测的概率

将user embedding 和item embedding结合成为最终要预测点击的概率：

损失函数用于描述：该模型计算出的总loss由三个主要组成部分构成。这三个主要组成部分分别是：预测分数对应的交叉熵损失、知识图谱特征表示相关的损失以及参数正则化带来的损失。

四、实验

基于经验的研究表明，在电影、书籍和新闻推荐领域中将RippleNet成功地应用到了三个实际应用场景中。实验结果显示，在电影领域中相对于现有的推荐基准模型而言,RippleNet能够提升AUC值约2.0%至40.6%; 在书籍领域,AUC值提升了约2.5%至17.4%;而在新闻领域,AUC值则能提高约2.6%至22.4%.此外,研究者们还发现,RippleNet通过结合知识图谱技术,为信息推 unseen提供了独特的见解机制

输入：

在MovieLens-1M和Book Crossing数据集上，我们采用了用户的唯一性标识符以及项目的唯一性标识符作为输入特征。而在Bing News平台上，则是将一条新闻的唯一性标识符与其标题内容的平均向量特征相结合作为项目的初始输入。考虑到新闻标题通常远超过电影或书籍的基本信息。

构造知识图谱：

我们使用Microsoft Satori为每个数据集构造知识图。

在研究MovieLens-1M和Book Crossing这两个数据集时，我们首先从KG集中提取满足关系名包含‘movie’或‘Book’且置信度高于0.9的所有三元组子集。

基于子知识图谱...我们通过将所有有效的电影/书籍名称与三元组尾部进行匹配来收集它们对应的ID。其中包含三个组成部分：头节点（head）、电影/书籍名称（film.film.name或book.book.title）以及尾节点（tail）。为了简化处理过程,避免那些无法匹配或存在多个匹配实体的情况。

接着，在子 KG 中，我们通过将 ID 与每个 KG 三元组的头及尾进行配对处理，并在筛选出匹配效果较好的 KG 三元组后，逐步将实体集合扩展至四步连接。

Bing新闻的构造过程与Bing新闻相似，不同之处在于：

（1）我们使用实体链接工具来提取新闻标题中的实体；

考虑到新闻标题中的元素不属于同一个特定领域, 因此我们不对关系名称进行限制.

问题？

冷启动问题似乎表明了对这一模型的有效性存在担忧。item型 cold start表现尚可有余，在这里值得注意的是user型 cold start的情况。由于该模型主要依赖于用户的使用记录，在新用户的注册后如何在虚拟环境中模拟这种互动过程呢？