【文献阅读】 2019-IJCAI-Sequential Recommender Systems Challenges, Progress and Prospects

说明

1.原文链接
2.此处将Sequence Recommender System翻译为序列式推荐系统，并参考下文的形式化定义。
3.这篇论文发表于顶级会议IJCAI上，并参考了关于该会议其他推荐系统的相关文章。

标题

序列推荐系统的难点、发展及未来
作者：ShoujinWang^1, Liang Hu^2, Yan Wang^1, Longbing Cao^2, Quan Z. Sheng^1, Mehmet Orgun^1
单位：
1：Department of Computing, Macquarie University
2：Advanced Analytics Institute, University of Technology Sydney

摘要

近年来，序列推荐系统(SRSs)作为一种新兴的研究课题，在学术界和工业界引起了广泛关注。与基于协同过滤和基于内容的传统推荐系统(RSs)不同的是，在这种系统中研究者们致力于通过分析用户的序列行为及其影响因素来深入理解用户行为序列中用户与项目之间的交互机制，并探讨用户的偏好变化规律以及项目的流行度随时间的演变特征；而SRSs则以更加细致的角度去刻画用户上下文环境、意图表征以及目标设定，并揭示项目消费趋势的变化规律；基于上述理论基础构建出能够提供更加精准、个性化以及动态化的推荐服务系统；本文将对这一领域进行系统综述：首先介绍SRSs的核心特点；然后总结并分类该研究领域的关键挑战；接着梳理相关的研究进展包括该领域最新的研究成果及其代表性成果；最后探讨该领域未来的重要研究方向

1 介绍

序列推荐系统(SRSs)主要基于用户的物品互动序列相关性建模（例如，在线购物平台上浏览或购买的行为），从而实现对潜在兴趣项目的推荐。传统的推荐系统（RSs），如基于内容和协同过滤的方法，则采用静态建模策略来描述用户-项目互动关系。相比于传统方法，在动态序列视角下构建模型后，则能够更准确地捕捉到用户的即时偏好[Chen et al. , 2018]。为了更好地理解这类系统的工作原理及其应用价值，在此之后我们将重点介绍其背后的动机以及形式化定义。

动机：为什么需要序列推荐系统

在用户与项目的互动中往往呈现出一定的顺序依赖性。

随着时间流逝, 用户偏好及项目的受欢迎程度均为动态变化, 而非固定不变。 事实上, 用户的兴趣和品味会随着环境而发生改变。例如, 许多曾经热衷于iPhone的年轻人如今转向华为或三星手机爱好者, 而iPhone的关注度近年来持续下降。这种动态特性对于精确分析用户或项目并提供更有针对性的推荐至关重要, 并且只能被SRSs捕捉到。
在不同的情境下, 用户与项目的交互方式也会有所区别 。然而, 传统推荐系统（如协同过滤）往往忽视了这一点。相反, 序贯推荐系统将之前的互动顺序作为背景来预测未来可能发生的互动行为。因此, 通过避免重复推荐那些已选项目相近或相似的内容, 更容易实现推荐结果的多样化

形式化定义：什么是序列推荐系统

一般来说，在构建基于序列推荐系统时（SRS），我们会将一系列用户的物品交互数据作为输入，并尝试通过建模这些交互序列中潜在的复杂顺序相关性来预测未来可能发生的后续交互。具体而言，在给定一个用户的项目互动序列的情况下，默认情况下我们会假设该序列为一组有限长度的三元组集合{<u,a,v>},其中u代表用户,u代表用户的操作行为,a代表相应的条目信息,v则表示在某些情况下,用户和项目相关的一些元数据（例如,人口或功能）。行为可能有不同的类型（例如,单击,添加到购物车,购买）和发生在不同上下文（例如,时间、地点、天气）。输出结果R则是一个根据各候选项目的得分进行排序后的列表。然而，在传统的序列建模问题中，默认情况下我们假设每个元素都是单一的数据点（例如实值或基因），因此相比而言,SRS中的学习任务更具挑战性,因为每个元素实际上都是一个三元组：包含用户u、操作a和对应的条目v。为了更好地理解这一过程,我们需要系统地分析并总结出SRS所面临的挑战及其相应的研究进展

贡献

我们对SRSs中的各类数据特征展开了系统的深入研究，并基于数据驱动的方法对其主要问题进行了归纳整理；这为深入理解SRSs的特征提供了全新的研究视角。
我们从技术手段上对艺术作品进行了全面的分类综述，并对未来研究方向展开了探讨。
我们致力于交流探讨SRSs的发展方向及其应用前景。

2 数据特征及挑战

因顾客的购物行为、商品特性以及现实世界中特定购物情境的多样性与复杂性等因素共同作用下，在实际应用场景中所产出的用户-物品交互数据往往呈现出多样的特性。这些多样化的数据特性本质上赋予基于推荐系统的智能信息处理系统（SRSs）各自独特的发展方向与应用路径，在表1中可对此进行详细展示。在接下来的五部分中，我们将分别深入探讨由不同数据特性能引发出的一系列关键挑战。每一大节均围绕某一具体的数据特性展开论述，在每小节内容安排上首先明确其具体的数据特性能由哪些方面构成的基础上，并结合相应带来的智能推荐系统面临的挑战进行详细阐述。

2.1 处理长用户-项目交互序列

一个由大量用户-项目交互组成的长序列在内部会产生更为复杂的相互依存关系这一现象显著增加了序列推荐的难度。具体而言，在处理这类长序列时主要的技术难点集中体现在两个方面即 高阶关联性学习 和 长期时间上的关联性学习

学习高阶序列依赖关系

高阶序列依存普遍存在于用户的商品互动序列中（尤其是长序列），相比之下低阶依存相对简单可借助马尔科夫模型（Garcin et.al., 2013）或因子分解机（Rendel et.at., 2010；Hidasi和Tikk, 2016）进行建模。然而由于其复杂的多级依存关系跨越多个用户的商品互动因此高阶依存显得更为复杂也更为难以捕捉到目前为止已有两类主要方法在一定程度上解决了这一挑战：**高阶马尔科夫模型（He和McAuley, 2016）以及循环神经网络（Hidasi等人, 2016a）**等技术手段能够有效应对这一问题然而每种方法均存在局限性例如在高阶马尔科夫模型中被估计的历史状态数量有限且随着模型复杂度升高呈指数增长的趋势；此外循环神经网络因过于严格的顺序假设限制了其在实际应用中的灵活性。

学习长期序列依赖关系

长期序列依赖关系涉及序列中相距较远的交互间的依赖关系。例如，在购物序列 S 1 = {玫瑰花, 鸡蛋, 面包, 瓶装牛奶, 花瓶}中可以看出Janet成功购买的一组商品组合。显然,花瓶与玫瑰花具有高依赖性尽管它们之间的间隔较大。这种情况在现实中并不罕见因为用户的购买行为往往具有高度不确定性他们会随意将物品放入购物车中。

为了解决这一关键问题, 基于长短时记忆以及门循环单元的循环神经网络已被成功应用于序列推荐系统中这种情况下能够有效捕获用户-商品交互间的长期关联性然而基于循环神经网络模型通过过度假设（即任何相邻的商品在序列中均具有高依赖性）来生成错误的依赖关系较为容易发生在此Janet的购物序列案例中通常会假设牛奶与花瓶之间存在显著关联因为它们之间的距离相对较近但事实上两者并不相关

针对上述问题研究者采取了一些改进措施即在一个统一的模型框架内结合混合模型的优势并利用不同时间尺度下的多个子模型来同时捕捉短期和长期的依赖性机制这一改进方向已在Tang等人（2019）的研究工作中有所体现

总体而言能够有效解决这一挑战的研究工作仍相对有限为此仍需进行更多的研究来进一步弥补这一研究空白

2.2 使用灵活的顺序处理用户-项目交互序列

在现实世界中存在这样一些用户-项目交互序列它们展现出严格的有序性而另一些则没有这种严格的顺序相邻的交互之间并非总是存在确定性的关联关系例如在一个购物篮中的商品序列S₂={牛奶,黄油,面粉}其中选择牛奶与黄油的先后次序并不影响彼此之间的关联性然而两者共同被选中的情况下可能会增加后续选择面粉的概率这种现象表明两者之间并不存在严格的线性依赖关系而是呈现出一种更为复杂的关联模式因此在处理具有灵活顺序的交互序列时应当特别关注这种集体间的关联模式而不是传统的点对点依赖关系这种方法的关键挑战在于如何有效建模并捕捉这种集体间的依赖关系

2.3 处理带有噪声的用户-项目交互序列

因用户的购物行为具有不确定性特征，在实际应用中往往会导致大部分用户的物品互动序列存在不干净的现象。这些序列可能包含一定比例的噪声数据以及若干无关的数据项，在一定程度上会对后续互动预测产生干扰作用。在实践中，在一个用户的项目互动序列中可能存在一些历史数据与下一个关键数据之间具备较强的相关性特征；然而也有一些历史数据与其之间的相关性较为微弱甚至不存在直接关联关系特征。例如，在另一个购物序列 S 3= {培根、玫瑰、鸡蛋、面包}中；其中物品‘玫瑰’可能是一个具有噪声特性的物品；因为它与其他所有商品存在显著差异特征，并且与它们之间几乎没有任何相关性特征；而下一刻出现一瓶牛奶的概率会显著高于其他可能性；其出现仅仅依赖于前四个项目的顺序排列关系；而不受玫瑰这个项目的直接影响作用。因此，在处理含有噪声的用户的项目互动序列时学习顺序依赖关系这一问题显得尤为关键。

2.4 处理具有异构关系的用户-项目交互序列

异构关系被定义为传递不同信息的不同类型的关联，在SRSs（系统需求规格说明书）中需要采用不同的建模方式来处理这些关联。例如，在一个由用户与项目组成的互动序列中，“摘要”部分详细阐述了这一概念。“综上所述”，除了基于传统用户的互动顺序依赖关系外，“概述”指出在这种复杂场景下还需要考虑其他因素。“总结”，长期和短期顺序依赖项之间的差异较大，“结论”指出这种复杂性使得问题更加棘手。“探讨”，在SRSs领域尚且缺乏有效的解决方案，“分析”，混合模型[Kang等, 2018;Tang等人, 2019年;Wang等人, 2019年)是目前为止应对这种挑战的唯一有效方案。“讨论”，混合模型通过整合多种子模型来捕捉不同类型的关系，“介绍”，从而实现协同效应并提升推荐性能。“研究进展”，具体技术细节将在第3.3节进行详细阐述。

2.5 处理具有层次结构的用户-项目交互序列

通常情况下，与用户-项目交互序列相关的层次结构主要包含两种不同的类别：第一类是元数据与用户-项目交互之间的层次结构；具体而言，在这一层次结构中，用户的元数据信息（如人口统计信息）能够显著影响其偏好行为，并进一步影响其与项目的互动体验[Hidasi et al.， 2016b]；第二类是子序列与用户-项目交互之间的层次结构；在此类别中，在某些SRSs中（如某些复杂系统中），一个用户的连续互动序列往往会被划分为多个子序列（也称为会话）。在这些子序列内部的先验互动行为不仅会影响当前子序列内将要发生的后续互动行为[Hidasi et al. 2016b]；同时还需要考虑历史子序列对当前预测行为的影响[Ying et al. 2018]；因此，在SRSs的设计中如何有效整合这两种不同类型的层次依赖关系以提升序列预测的准确性成为一个关键挑战

3 研究进展

为了解决上述挑战，并详细阐述相关解决方案的技术细节，在本节中我们将从技术角度系统总结SRSs的研究进展

3.1 用于SRSs的传统序列模型

基于序列模式的推荐系统（RSs）首先在序列数据上挖掘频繁模式，并利用这些模式来指导后续推荐过程。然而该方法虽然直观且易于实现，在实际应用中存在明显缺陷：首先该方法会产生大量的冗余模式从而导致不必要的计算开销；其次由于设置频率阈值可能会过滤掉一些低频但具有特定意义的模式与项目这对特定场景下的推荐结果会产生较大限制因此除了[Yap et al. 2012]之外这类研究工作相对较少

马尔可夫链模型通过建模用户行为转移关系来预测后续交互其核心思想是根据用户的近期行为状态推测其未来可能的行为状态基于马尔可夫链的基本假设即"无记忆性"即当前状态仅受前一状态的影响而与其他历史状态无关这种方法能够有效捕捉用户的短期行为依赖但存在两个主要局限性一方面这种假设可能导致长期行为特征无法被准确刻画另一方面它无法有效建模用户在群体层面的行为依赖进而限制了其在复杂场景下的表现

3.2 用于SRSs的潜在表达模型

潜在表示模型随后提取每个用户或项的独特特征，在潜在空间中构建复杂的行为模式描述。研究结果表明，在这种表达框架下捕获了更为丰富的隐式关联性与相互作用关系，在提升推荐效果方面展现出显著优势。接下来我们将深入探讨这类方法的具体实现机制与典型应用案例。

嵌入技术则通过整合序列中的全部用户-项目互动信息并将其映射到潜在空间中，在这一过程中为每个参与者的后续互动行为建立独特的表征特征库；在此基础之上一些研究工作主要关注于如何利用这些预训练得到的表征特征进行进一步的行为预测计算；而另一些则侧重于直接采用这些表征特征来进行具体的相似度计算指标构建以此来评估不同用户的偏好匹配程度与推荐效果表现水平

3.3 用于SRSs的深度神经网络模型

具备本质性的能力，
这些模型能够对不同实体间的相互关联进行系统建模，
并有效捕捉其复杂关系，
从而在多个领域展现出强大的性能。
在过去几年间，
深度神经网络几乎成为主流技术，
广泛应用于智能服务系统中。
这些系统的最新发展也属于这一技术范畴。
就分类标准而言，
这类系统通常可分为两类：
一类基于基础型深度神经网络构建的应用，
另一类则融合了更多先进模型的应用。

基本深度神经网络

针对SRSs最常用的深度神经网络是递归神经网络(RNN)，它天然具备处理序列数据的优势，并非完美无缺。近期研究表明，在SRSs领域中还出现了卷积神经网络(CNN)与图神经网络(GNN)的应用实例。这些新型方法有效弥补了传统RNN在捕捉长期依赖方面的不足。本研究将分别探讨基于这三种深度神经网络构建的自适应推荐系统

基于RNN的自适应推荐系统

基于CNN的自适应推荐系统

基于GNN的自适应推荐系统

高级模型

为了克服基本神经网络架构所固有的局限性，在SRSs领域寻求突破性解决方案一直是研究焦点。为此，一些先进的模型常与基础深度神经网络（如RNN、CNN）相结合，并通过整合外部内存矩阵来捕获历史用户-项交互与其后续互动之间的依赖关系。这些方法不仅增强了对复杂交互的理解能力，并且显著提升了推荐系统的性能表现[Chen et al.， 2018]；此外还有一种基于混合编码器的设计方法能够分别处理短期和长期依赖关系，在提升序列表示精度方面展现了显著优势[Tang et al. 2019].

4 开放的研究方向

近年来特别是近三年来序列推荐系统发展呈现出快速发展的态势尤其是在深度学习领域尤其是递归神经网络这一领域取得了突破性进展与此同时对研究领域进行分类归纳与总结我们还确定了以下几项进一步开放的研究方向

5 总结

推荐系统（RS）作为人工智能技术在现实生活中的重要应用之一，在我们的日常生活中发挥着直接而实用的作用。过去三年多以来，在推荐系统领域中，序列推荐系统（SRSs）一直占据着核心地位。本综述旨在对序列推荐系统（SRSs）所面临的主要挑战、近期的重要进展以及未来可能的发展方向进行概述。

参考文献

[Chen et al., 2018] Xu Chen, Hongteng Xu, Yongfeng Zhang, and et al. Sequential recommendation with user memory networks. In Proceedings of the 11th ACM International Conference on Web Search and Data Mining, pages 108–116, 2018.
[Feng et al., 2015] Shanshan Feng, Xutao Li, Yifeng Zeng, Gao Cong, and Yeow Meng Chee. Personalized ranking metric embedding for next new poi recommendation. In Proceedings of the 24th International Joint Conference on Artificial Intelligence, pages 2069–2075, 2015.
[Garcin et al., 2013] Florent Garcin, Christos Dimitrakakis, and Boi Faltings. Personalized news recommendation with context trees. In Proceedings of the 7th ACM Conference on Recommender Systems, pages 105–112, 2013.
[He and McAuley, 2016] Ruining He and Julian McAuley. Fusing similarity models with markov chains for sparse sequential recommendation. In Proceedings of the 16th IEEE International Conference on Data Mining, pages 191–200, 2016.
[He et al., 2018] Ruining He, Wang-Cheng Kang, and Julian McAuley. Translation-based recommendation: A scalable method for modeling sequential behavior. In Proceedings of the 27th International Joint Conference on Artificial Intelligence, pages 5264–5268, 2018.
[Hidasi and Tikk, 2016] Bal´azs Hidasi and Domonkos Tikk. General factorization framework for context-aware recommendations. Data Mining and Knowledge Discovery, 30(2):342–371, 2016.
[Hidasi et al., 2016a] Bal´azs Hidasi, Alexandros Karatzoglou, and et al. Session-based recommendations with recurrent neural networks. In Proceedings of the 4th International Conference on Learning Representations, pages 1–10, 2016.
[Hidasi et al., 2016b] Bal´azs Hidasi, Massimo Quadrana, Alexandros Karatzoglou, and Domonkos Tikk. Parallel recurrent neural network architectures for feature-rich session-based recommendations. In Proceedings of the 10th ACM Conference on Recommender Systems, pages 241–248, 2016.
[Huang et al., 2018] Jin Huang, Wayne Xin Zhao, Hongjian Dou, Ji-Rong Wen, and Edward Y Chang. Improving sequential recommendation with knowledge-enhanced memory networks. In Proceedings of the 41st ACM SIGIR Conference on Research & Development in Information Retrieval, pages 505–514, 2018.
[Kang et al., 2018] Wang-Cheng Kang, Mengting Wan, and Julian McAuley. Recommendation through mixtures of heterogeneous item relationships. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management, pages 1143–1152, 2018.
[Quadrana et al., 2017] Massimo Quadrana, Alexandros Karatzoglou, and et al. Personalizing session-based recommendations with hierarchical recurrent neural networks. In Proceedings of the 11th ACM Conference on Recommender Systems, pages 130–137, 2017.
[Rendle et al., 2010] Steffen Rendle, Christoph Freudenthaler, and Lars Schmidt-Thieme. Factorizing personalized markov chains for next-basket recommendation. In Proceedings of the 19th International Conference on World Wide Web, pages 811–820, 2010.
[Tang and Wang, 2018] Jiaxi Tang and Ke Wang. Personalized top-n sequential recommendation via convolutional sequence embedding. In Proceedings of the 11th ACM International Conference on Web Search and Data Mining, pages 565–573, 2018.
[Tang et al., 2019] Jiaxi Tang, Francois Belletti, Sagar Jain, Minmin Chen, Alex Beutel, and et al. Towards neural mixture recommender for long range dependent user sequences. In Proceedings of the 28th International Conference on World Wide Web, pages 811–820, 2019.
[Wang et al., 2015] Pengfei Wang, Jiafeng Guo, Yanyan Lan, Jun Xu, ShengxianWan, and Xueqi Cheng. Learning hierarchical representation model for next basket recommendation. In Proceedings of the 38th ACM SIGIR Conference on Research and Development in Information Retrieval, pages 403–412, 2015.
[Wang et al., 2018] Shoujin Wang, Liang Hu, Longbing Cao, Xiaoshui Huang, Defu Lian, andWei Liu. Attentionbased transactional context embedding for next-item recommendation. In Proceedings of the 32nd AAAI Conference on Artificial Intelligence, pages 2532–2539, 2018.
[Wang et al., 2019] Shoujin Wang, Liang Hu, Yang Wang, and et al. Modeling multi-purpose sessions for nextitem recommendations via mixture-channel purpose routing networks. In Proceedings of the 28th International Joint Conference on Artificial Intelligence, pages 1–7, 2019.
[Wu et al., 2017] Chao-Yuan Wu, Amr Ahmed, Alex Beutel, Alexander J Smola, and How Jing. Recurrent recommender networks. In Proceedings of the 10th ACM International Conference on Web Search and Data Mining, pages 495–503, 2017.
[Wu et al., 2019] Shu Wu, Yuyuan Tang, and et al. Sessionbased recommendation with graph neural networks. In Proceedings of the 33rd AAAI Conference on Artificial Intelligence, pages 1–9, 2019.
[Yap et al., 2012] Ghim-Eng Yap, Xiao-Li Li, and Philip Yu. Effective next-items recommendation via personalized sequential pattern mining. In Database Systems for Advanced Applications, pages 48–64, 2012.
[Ying et al., 2018] Haochao Ying, Fuzhen Zhuang, Fuzheng Zhang, Yanchi Liu, Guandong Xu, and Xing Xie. Sequential recommender system based on hierarchical attention networks. In Proceedings of the 27th International Joint Conference on Artificial Intelligence, 2018.
[Yuan et al., 2019] Fajie Yuan, Alexandros Karatzoglou, Ioannis Arapakis, Joemon M Jose, and Xiangnan He. A simple convolutional generative network for next item recommendation. In Proceedings of the 12th ACM International Conference on Web Search and Data Mining, pages 582–590, 2019.