文献学习(part11)--基于知识图谱的推荐系统研究综述

学习笔记，仅供参考，有错必纠

文章目录

摘要

摘要

摘要

* 知识图谱
* 为什么应用知识图谱在推荐系统中

• 基于知识图谱的知识推荐系统:体系及其应用
  • • 基于知识图谱的不同推荐算法分类策略
• • 基于向量嵌入的技术
  • 基于路径搜索的技术

基于知识图谱构建的应用分类体系

  * 未来研究
  * * 动态知识图谱
* 动态推荐系统
* 基于迁移学习

基于知识图谱的推荐系统研究综述

摘要

推荐系统的主要目标是向用户提供经过个性化处理的在线商品或信息，在众多Web场景中得到广泛应用。它用来应对由海量信息数据引起的过度饱和的问题，并通过这种方式提高用户体验水平。

鉴于推荐系统的实用价值

为了更好地理解后续内容,我们首先简要阐述推荐系统与知识图谱中的核心概念.继而深入探讨现有技术在提取和利用知识图谱多维度信息方面的实现机制及其在推荐系统中的应用.在此基础上,我们归纳整理了一系列典型的应用场景.The study concludes with an insightful analysis of the potential for knowledge-based recommendation systems and outlines promising future research directions.

引言

个性化推荐算法是推荐系统的核心,其主要可以被分为3类,即:

• 基于内容的推荐算法
• 基于协同过滤的推荐算法
• 混合推荐算法

其中,协同过滤方法基于用户的使用历史行为偏好数据构建模型,展现出显著的效果[6∼8].

知识图谱作为一种在混合推荐系统中具有重要价值的辅助信息，在过去几年中受到了大量研究者的关注。作为有向信息异构网络的知识图谱其基本组成部分包括节点和边：节点代表实体（如商品、用户），边表示它们之间的关联关系[10,13]。此外它能够将来自用户行为数据构建起来的用户-物品网络整合进来[16,17]从而拓展了用户与商品之间潜在的关联性并增强了基于交互数据的推荐能力。此外在构建具有可解释性的推荐系统方面基于知识图谱的方法提供了一系列新的思路和框架。

如图1所示,基于知识图谱中影视相关信息资源,我们能够推断出用户A可能倾向于选择与他喜欢摩根·弗里曼主演的电影《成事在人》相似的其他影片,例如其主演的电影《肖生克的救赎》。

研究背景

推荐系统

推荐系统的形式化定义[5]如下:

目前,一般认为推荐系统中的推荐算法主要可分为3类：基于内容的推荐算法、基于协同过滤的推荐算法以及混合推荐算法

基于内容的推荐算法

建立在一个核心假设上：即用户可能会对那些与他们之前 liked 物品风格相近的商品感兴趣。该系统通过构建模型来分析用户的显示偏好（如评分、收藏）以及隐性偏好（如搜索行为、点击率和购买记录）所涉及的商品集合，并评估这些商品与所有商品之间的相似程度。在此基础上生成候选商品列表并按相似程度排序以供展示。在优化推荐效果时，还可以综合考虑时间因素（如当前时段）、地理位置（如所在地）以及具体的推广场景。另外一种方法是利用统计学和机器学习技术从用户的互动数据中提取偏好模式，并以此取代传统的相似度计算方式。其主要优势体现在：

• 能够有效解决新物品在 cold start 情况下的问题, 不受矩阵 R 的稀疏特性的影响;
  • 推荐系统输出的结果表现出良好的可解释性.

其缺点在于：

• 必须对物品属性进行繁琐的特征工程搭建,否则会影响推荐效果;
• 存在多样性缺失,推荐结果可能与用户曾有过显示和隐式反馈的物品高度相似;
• 新用户的cold start问题.

基于协同过滤的推荐算法

基于协同过滤的推荐算法是非传统的、成功应用最广泛的推荐方法之一,主要依赖于分析用户的使用行为和商品特性等信息,识别用户与商品之间的潜在关联性 ,从而实现精准化的个性化推荐.具体而言,这类方法可分为三类:其中一类是基于内容相似度的推荐方法,它主要是通过分析用户的兴趣特征与其可能感兴趣的其他商品之间的关联性来进行匹配;另一种则是基于协同过滤技术的方法,其核心思想是将这些特征与潜在项目的相关属性进行匹配;最后还有一种是混合型的方法

• 基于用户的推荐
• 基于物品的推荐
• 基于模型的推荐

基于用户的协同过滤方法建立在以下前提：即假设特定一个用户可能会倾向于与其具有高度相似性的其他用户的兴趣或偏好信息。该系统通过分析大量用户的评分数据来评估彼此之间的相似性程度，并在此基础上预测特定用户的兴趣或偏好情况，并据此提供推荐内容。这种方法虽然具有诸多优势——例如无需深入挖掘物品自身的属性特征——但同时也存在一些局限性：当用户体验数量呈现大幅波动时，算法运行效率可能会明显下降；此外，在新用户提供方出现时（即所谓的"冷启动"问题），系统仍需额外的时间来完成相关适应性调整。

基于项目的协同过滤方法与基于内容的知识推导过程假想相仿，在本质上存在显著差异：它们均依赖于对历史数据的利用来进行相似度评估。这种技术的优势体现在计算简便性上——由于用户的反馈变化通常比商品更为敏感，在无需实时更新的情况下可实现高效的离线计算和定时维护；然而这种方法的一个局限性是无法在动态环境中为用户提供即时的新商品推荐服务。

基于模型的方法旨在解决基于用户的协同过滤面临的数据稀疏性和难以提供即时反馈的问题。该系统通过历史数据和机器学习技术构建了一个预训练模型f，并利用此模型实现了实时预测任意用户的偏好。

混合推荐算法

作为提升整体性能的关键手段，混合推荐算法通过整合多种不同的推荐机制来相互补充彼此的不足。这些集成方法主要包括以下几类：首先是对不同来源生成的结果进行加权融合；其次是一种动态机制下的内容切换；此外还有一种内部协调机制；此外还包括基于多层次数据源的特征提取与整合策略。在实际应用中，最常见的混合方案是将协同过滤与其他主流算法相结合的方式。这种策略不仅能够有效缓解冷启动问题还能优化处理稀疏数据的情况[30]。

此外,混合推荐系统的显著优势在于能够实现特定推荐场景下的个性化模型构建,从而充分合理地运用额外的数据信息.例如,Konstas等基于音乐网站Last.FM特有的用户社交关系网络开发出一个高效的混合推荐系统.

知识图谱

知识图谱作为知识管理系统被提出,其核心理念源于Google公司的研究成果,旨在优化搜索引擎的检索效能并改善用户体验

知识图谱的本质是一个组织和存储知识实体及其间的关联的网络结构 ，能够通过形式化的语言和方法来描述和理解现实世界的事物及其相互关系。

伴随着互联网与物联网技术的迅速发展,其应用范围也逐渐延伸至多个领域,其中包括了诸如推荐系统、智能问答以及文本分析等多种应用场景。

知识图谱一般通过三元组的形式来存储实体和它们之间的关系。其形式化表示为数学符号 G = (E, R, S)。其中E=\{E_{1}, E_{2}, ...\}则代表了知识图谱中各类实体的集合。

R = \{ R_1, R_2, . . .\} 表示知识图谱中所有关系的集合;

该集合由多个元素组成，在这些元素中每个元素均为有序三重组，并且每个有序三重组均满足特定条件. 具体而言，在每个有序三重组中均包含一个头实体、一种关系以及一个尾实体.

例如三元组 (Donald\ Trump,\ Politico,\ America) 表示为一个三元组（ Donald\ Trump,\ Politico,\ America）包含三个元素：其中‘Donald\ Trump’是头实体‘Politico’是关系名称‘America’是尾实体其中‘Politico’指代的是‘美国’的政治职位即总统职位

知识图谱中的三元组不仅能够帮助我们认识各实体间的关联性，
而且能够表示各实体的信息特征，
例如（Donald Trump, born in, New York）以及（Donald Trump, nationality, America）这两项三元组分别记录了迪博特定性的出生地点与国籍信息，
此时尾端实体也可被称为属性值。

此外，在特定场景下（Knowledge\ Graph）的内容会频繁地进行动态更改。近年来已有学者致力于构建动态知识图谱，并将原有的三元组更新为带有时间戳的四元组以更好地建模知识的演化过程。

为什么应用知识图谱在推荐系统中

现有的 recommendation system technology (particularly based on collaborative filtering methods) faces a series of significant challenges (including the problem of sparse interaction data between users and items as well as the cold start phenomenon), which results in suboptimal recommendation performance.

在知识图谱中包含了大量的实体及其相互关联的信息,这些信息不仅能够作为一种有效的辅助手段来丰富用户和物品的信息描述,并且能够提升推荐算法的准确性;同时还能缓解上述提到的问题.

如图1所示, 即使原有数据中缺乏关于《肖申克的救赎》的相关交互信息, 我们依然能够借助图谱提供的主演信息建立关联, 并深入挖掘用户的潜在兴趣点。

具体而言,一些研究通过从知识图谱中提取实体及其关联关系来实现对隐含知识语义信息的获取与分析.随后,这些隐含的知识语义信息被成功整合至推荐系统的核心组件中,从而显著提升了推荐系统的性能.

另外,某些研究者为了将知识图谱与原有的用户–物品交互数据整合构建异质信息网络图,并在此基础上分析用户的关联关系以进一步优化推荐系统.

图2展示了这种类型的异质信息网络图在推荐场景中的应用实例。通过分析可以看到，基于用户A到电影《肖申克的救赎》存在三条不同的路径。

• (用户A,喜欢,《成事在人》)∧(《成事在人》,主演是,摩根·弗里曼)∧(摩根·弗里曼,主演,《肖申克的救赎》)⇒(用户A,喜欢,《肖申克的救赎》)
• (用户A,喜欢,《成事在人》)∧(《成事在人》,导演是,克林特·伊斯特伍德)∧(克林特·伊斯特伍德,主演,《逃出亚卡拉》)∧(《逃出亚卡拉》,被翻拍,《肖申克的救赎》)⇒(用户A,喜欢,《肖申克的救赎》)
• (用户A,喜欢,《成事在人》)∧(《成事在人》,导演是,克林特·伊斯特伍德)∧(克林特·伊斯特伍德,主演,《逃出亚卡拉》)∧(《逃出亚卡拉》,被喜欢,用户B)∧(用户B,喜欢,《肖申克的救赎》)⇒(用户A,喜欢,《肖申克的救赎》)

因此, 通过分析上述推理关系, 我们能够为用户提供更加精准的个性化推荐服务。这样的异构信息网络图不仅有助于发现源数据集中潜在的用户-物品互动模式, 还能有效缓解数据稀疏与冷启动等现实问题。

此外

基于知识图谱的推荐系统:方法与应用

基于知识图谱的推荐算法分类

就目前而言,现有的基于知识图谱的知识化推荐方法已经被分为两大类,分别是基于嵌入的知识化推荐方法以及基于路径的知识化推荐方法

基于嵌入的方法

知识图谱在推荐系统中主要依赖于嵌入技术来构建实体与关系的表征机制。这种机制通过将复杂的数据结构转化为低维向量空间中的点表示形式，在一定程度上能够有效捕捉实体间的隐含关联性，并进一步扩展了原有物品与用户表征的信息内涵。其中主要包括基于Trans系列的图谱嵌入技术和基于异质信息网络的图嵌入方法。

• 基于Trans系列的图谱嵌入方法

基于Trans系列的嵌入策略是一种典型的针对知识图谱中实体与关系进行表征的方法。此类方法旨在将实体与关系映射至连续的向量空间中，并获取其低维密集表示。主要包含TransE、TransH、TransR及TransD等模型。

TransE是这类方法中的第一篇代表作,其核心理念在于将头实体的向量h与关系向量r相加所得结果尽可能接近尾实体的向量t（即h + r \approx t），尽管如此，在处理一对多关系时 TransE 显示出一定的局限性。

为此, TransH方法被提出以处理一对多或多对一的关系. 其中, 头实体h和尾实体t的向量通过由W_r确定的超平面进行投影得到向量h_{\perp}和t_{\perp}. 则在该超平面上存在一个表示向量r使得h_{\perp} + r \approx t_{\perp}.

从TransR的角度来看，在分析实体时会将其划分为多个维度或层面；每个具体的关系则会着重关注其中一个特定的维度或层面；基于此逻辑体系，在实际应用中首先构建一个关系矩阵M_r来完成这一映射过程；随后会对目标函数进行优化处理以满足h_{r} + r \approx t_{r}的要求。

TransD则进一步指出，在TransR模型中，映射关系应由实体与关系共同决定，并基于以下公式计算相应的映射矩阵：M_{rh} = r_p h_p^T + I以及M_{rt} = r_p t_p^T + I

在基于Trans系列图谱嵌入方法进行学习后, 我们能够掌握实体及关系的表征, 进而可用于扩展原有推荐系统中的物品与用户表征

• 基于异质信息网络的图嵌入方法

知识图谱因其节点与边各自所属的不同类别而被称作一种异质信息网络图；从而可以采用若干种异质信息网络图的嵌入技术对图上的实体与关系来进行表征学习。Metapath2Vec作为其中的重要方法之一；其主要通过元路径下的随机游走方式构建异质信息图上节点的邻居集合；并采用基于skip-gram模型的方式来进行节点表征学习。

研究团队基于Metapath2Vec框架对知识图谱中的节点特性进行表征学习，并以此进一步提升推荐系统中物品表征的丰富性

基于node2vec算法的核心理念,研究者们开发了一种专为异质信息网络设计的entity2vec方法,旨在为知识图谱中的实体构建表征方案,并成功应用于推荐系统中。

基于Transformers系列的图谱嵌入模型以及前述几种异质信息网络的嵌入方法在应用于推荐系统时存在一定的局限性。这些方法更适合与知识图谱相关的应用场景，并非专为个性化推荐设计，在这一方面其主要优化目标集中在填补知识图谱中的缺失信息或预测知识图谱中的边关系,而非直接服务于个性化推荐需求。

Wang等从复杂信息网络模型中提取了用户节点与其相连多层实体节点的信息,并提出了一种名为RippleNet的新方法,通过提取各实体节点的嵌入向量来重新表达用户的特征。随后,该方法通过计算用户与商品特征向量之间的内积来推导出推荐结果。

此外，在伴随着图卷积网络技术的进步过程中，一些研究者致力于将这一技术应用于知识图谱建模，并以促进推荐系统性能为目标导向这一过程。其中,Wang等[48]借鉴了图卷积网络的核心机制，并提出了KGCN模型。该模型通过在异质图中对每个实体进行采样获取其局部邻域信息，并在此基础上设计了一种层次化的特征表示方法：即通过更新各层节点的状态信息来反映当前实体在更高层次上的特征。经过多轮迭代后,KGCN模型能够生成每个实体对应的表征e_{\mu}。随后，在完成整个神经网络推理过程后,该模型最终会计算出f(e_{\mu,e_v}), f: R^d \times R^d \to R这一函数值来预测用户u与物品v之间的互动关系

基于路径的方法

以路径为基础的知识图谱在推荐系统中的应用主要通过探索用户与物品之间的多种连接关系来实现。例如，在第2.3节我们介绍了一个案例（如图1所示），通过借助知识图谱关于物品的相关信息，能够获得三条从用户A到《肖申克的救赎》的不同路径。这些不同的路径可以帮助我们分析并构造出适合推荐系统的算法模型。此外，在这种异质信息网络下，我们可以借鉴传统针对元路径分析的方法来提升推荐系统的性能。

基于知识图谱的推荐应用分类

现有的利用知识图谱的推荐系统可以根据其应用场景进行分类，并主要包括以下几类:传统的基于知识图谱的知识发现型协同过滤方法、基于路径推理的知识图谱嵌入模型以及基于可解释性设计的知识驱动个性化推荐机制

传统推荐系统

传统推荐系统旨在基于用户的交互数据及其属性信息，在大多数场景下能够为用户提供可能感兴趣的商品建议。当应用于知识图谱时，在大多数情况下可以直接将物品及其相关属性映射到该知识图谱中。现有的研究大多集中在电影类目、书籍类别以及娱乐资讯等多个主要领域上。

序列化推荐系统

不同于传统的推荐场景,序列化推荐系统的目的是识别出用户兴趣随时间变化的规律性模式,并依据用户的交互历史信息预测当前的兴趣焦点[97].目前经典的建模方法主要包括基于马尔科夫(Markov)模型以及循环神经网络(RNN)模型[97,98]和[99∼101]中,其中基于循环神经网络的方法因其在大数据量情况下的良好拟合效果而被广泛采用,从而成为主流建模方法.

作为一种通用的信息辅助工具,知识图谱近年来也开始被应用于序列化推荐任务中[12,20,64].其中,文献[64]提出了一种较为直接的方法将知识图谱的语义信息融入基于RNN的序列化推荐机制中.具体而言,作者采用了第3.1节中介绍的嵌入方法,将知识图谱中的语义信息融入物品表征中作为双向RNN输入的一部分.随后,通过网络输出结果实现了预测任务.而文献[12]则针对RNN网络难以有效处理长期序列问题这一局限性,构建了一个基于记忆网络[102]的新框架.该框架在每次迭代节点时间点信息时能够更有效地整合TransE生成的知识实体语义表示,从而显著提升了对知识图谱语义信息的理解与利用能力.最终实现了推荐系统的性能优化.

可解释推荐系统

可解释推荐系统的首要目标是通过提供具体的理由来增强系统可靠性的信心。

例如如图5(a)所示,对于用户A而言,该系统可能向她推荐了电影《肖申克的救赎》，原因可能是她观看了剧情类影片如《阿甘正传》,或是观看了由摩根·弗里曼主演的影片如《成事在人》。

此外,Ma等[60]提出一种基于规则归纳与规则指导的神经网络推荐系统,其基于物品相关的知识图谱中归纳常见的多跳关系模式,推断不同的物品间的关联,并且可以提出易于理解的可解释推荐系统.图5(b)给出了这样一个推荐系统的示例,通过物品相关的知识图谱以及用户的交互行为,我们可以学习到相关的规则,例如物品的手机制造商是竞争关系的情况下,用户可能同时浏览相关的物品;手机壳适配相关对应手机时,用户可能同时购买相关的物品.随后基于规则以及模型学习到的权重,我们就可以结合用户的历史数据进行推荐了.

未来研究

动态知识图谱

目前我们研究的知识图谱仅限于静态形态,是离散的数据片段,然而实际上,知识图谱之间的关系具有时变性

动态推荐系统

在一些对知识数据实时性要求较高的推荐场景中,诸如音乐推荐、电影推荐等应用领域中,由于物品更新频率较高,因此我们对于构建的知识图谱也应当具备较好的实时性特征.然而现有的两种主要方法在面对频繁更新的知识图谱时都存在较高的训练时间成本问题.就嵌入方法而言,如果原始交互数据与知识图谱关联后形成的信息网络规模较大那么每次训练所需的时间成本将会显著增加.当遇到知识图谱数据或数据类型更新的情况时就需要重新进行一次完整的训练过程.而基于路径的方法则需要针对现有知识图谱重新提取元路径并对语义路径进行重构这一过程同样耗费较大时间成本.因此目前这些方法难以有效应对那些对时效性要求较高的推荐系统.而在线学习算法中的增量学习技术则为我们提供了一种有效的解决方案其具体特性包括

可以从新的数据中学习知识,更新模型;

以往处理过的数据不必全部重新处理;

学习新的数据知识时可以保留原有大部分的知识.

我们可以采用近年来提出的增量图嵌入方法对原有推荐场景进行整合,从而拓展其适用范围,以适应对实时性要求较高的推荐系统需求,从而减少所需的知识图谱与用户交互数据的训练时间投入。

基于迁移学习

目前有很多研究者尝试使用迁移学习解决这类问题.

其主要是通过从源推荐系统的学习获得了通用模型参数，并将其共享后与目标系统的专用模型参数协同训练以显著提升了模型的实际效果同时解决了目标推荐系统因训练数据不足而导致的效果不佳的问题实际上知识图谱在多个领域和场景中往往呈现相似的发展规律 因此采用迁移学习的方法将源推荐系统从知识图谱中获取的学习成果应用于新建立的目标推荐系统能够进一步缓解冷启动问题并显著提升了应用迁移学习技术后获得的可解释性