推荐系统综述：A review on deep learning for recommender systems: challenges and remedies

一、基本信息

The comprehensive analysis of deep neural networks in recommendation systems addresses both the existing issues and offers effective solutions.

在期刊《Artificial Intelligence Review》上发表于二〇一八年。

论文作者及单位：

论文地址：https://link.springer.com/article/10.1007/s10462-018-9654-y

二、摘要

推荐系统是有效的信息过滤工具，由于互联网接入的增加、个性化趋势和计算机用户习惯的改变，这种工具非常普遍。尽管现有的推荐系统成功地产生了不错的推荐，但是它们仍然面临着诸如准确性、可伸缩性和冷启动等挑战。在过去的几年中，深度学习，即在许多复杂任务中使用的最先进的机器学习技术，已经被用于推荐系统以提高推荐质量。在本研究中，我们对基于深度学习的推荐方法进行了全面的回顾，以启发和指导对该主题感兴趣的新手研究人员。我们从四个维度分析了已有的研究，即推荐系统中使用的深度学习模型、对推荐系统挑战的补救措施、对推荐领域的认知和流行的研究领域。我们还提供了对该领域出版物的全面定量评估，并通过讨论得出了见解和可能的未来有关该主题的工作。

三、主要内容与工作

1 Introduction

现代信息技术的最新发展与网络服务的广泛应用赋予了普通用户获取大量信息的能力。如今，在线平台能够即时提供几乎所有产品和服务的产品详情、广告宣传以及客户评论等内容。尽管快速获取信息是一项宝贵的能力，
然而面对海量数据来源，
这些数据使得人们难以筛选出有用且相关的具体内容，
从而导致严重的信息过载问题。

2 Related work

如同诸多其他计算机科学领域的研究一样,深度学习实践的成功对推荐系统的研究方向产生了深远的影响。早期,Salakhutdinov等人(2007)提出了一种基于深度层次模型的方法来解决电影推荐任务。自这项开创性研究以来,已有多项研究尝试将深度模型应用于推荐系统领域。通过有效提取隐藏特征和关系,研究人员提出了多种替代方案以应对推荐挑战,包括提高准确率、处理稀疏性以及解决冷启动问题等关键问题。借助于自动编码器,Sedhain等人(2015)通过预测用户-项目矩阵中的缺失评分实现了较高的精度;而德文霍特与贝尔西尼(2017)则通过将协同过滤转化为序列预测问题提升了短期预测精度。Wang等人(2015b)提出了一种基于协同过滤的深度模型,旨在通过学习良好的表示来缓解数据稀疏性问题。此外,深度模型已被成功应用于解决可扩展性问题,因为它们在降维和特征提取方面表现卓越。埃尔卡基等人(2015)通过使用深度神经网络从高维特征中提取低维特征来实现可扩展性的解决方案;Louppe(2010)则利用深度学习进行降维以处理大规模数据集的问题。

随着深度架构在推荐系统领域的兴起,回顾现有文献已成为该领域研究者的重要需求之一。全面分析现有研究有助于指导未来的工作方向和发展策略。然而目前这种迫切的需求尚无法得到满足:据我们所知仅有四项研究致力于这一课题。郑(2016)对当前最先进的人工智能方法进行了调查并进行了批判性分析;但该研究由于涉及文献数量有限而导致整体认知仍然不够全面。Betru等人(2017)对传统推荐系统与深层学习方法展开了阐释;但其范围同样有限仅局限于三篇论文的分析。刘和吴(2017)则对基于深度学习的推荐方法进行了系统的分析并提出了一个分类框架;该框架主要从输入输出两个维度进行分类整理进而为后续研究提供了一定的方向指引;然而我们提出的工作旨在为更精确地理解基于深度学习的技术在推荐系统中的应用提供指导与借鉴

近期, 张等人(2017a)就基于深度学习的推荐系统展开了综合评述.评述论文的数量在(张等人.2017a)与本文中相当接近,但与我们提出的分类方法相比,显示出显著的不同之处.值得注意的是,(2017a)研究者仅关注出版物的结构化分类,并提出了两种主要方案:神经网络模型与集成模型.相比之下,我们采用了更为全面的四维分类体系:不仅包含神经网络模型,还针对解决方案、应用领域及使用目的进行了深入划分.在研究出版物时,我们主张通过对主题进行整体把握来引导相关研究者深入探索推荐系统中的深度学习技术,而非过分关注实现细节.通过这项工作,希望研究人员能够清晰理解不同基于深度学习的方法在推荐系统中的核心作用.本综述的主要目的是探讨每种基于深度学习的方法所面临的动机问题,同时试图为当前面临挑战的研究提供基于深度学习的技术解决方案.

3 Background

尽管推荐系统可被视为特定类型的过滤信息系统，在实际应用中其局限性日益显现。然而深度 learning 作为 machine learning 的发展方向之一，在探讨如何将两种方法结合起来之前，在本背景段落中我们简要介绍了推荐系统的基本原理、主要类型及其面临的挑战。为了阐述推动人工智能成为一门新兴科学的关键因素而引入了深度 learning 概念，并通过具体实例展示了其重要性与潜力。最后举例说明了机器 learning 领域中被广泛使用的深度神经网络模型

3.1 Recommender systems

在信息爆炸的时代背景下出现的信息过载问题得到了有效的解决手段就是推荐系统。在典型的推荐系统架构中存在两个关键问题：一是如何准确估算单个项目的潜在吸引力或者价值；二是如何基于预测结果生成用户的个性化项目排序建议（Sarwar等人 2001）。其中第一个过程是由用户主动引发的，并专注于提供尽可能精确的个性化预测结果；而第二个过程则由推荐引擎自动完成，并生成一系列用户的偏好排序结果。基于不同的推荐方法论基础（Adomavicius和Tuzhilin 2005），可将现有的推荐系统划分为三大基本类型：

• 协同过滤的方法基于具有相似兴趣的其他用户的偏好信息向目标用户提供推荐。
• 内容型推荐系统通过分析项目描述特征，并根据新项目与已有 liked 项目的相似度来生成相应的推荐。
• 混合型推荐系统综合运用多种算法，并通过借鉴其他算法的优势来弥补自身不足。

除了这类通用的推荐方案外，在实际应用中还开发了几种特殊的推荐方法。具体而言，在分析用户的环境信息方面采用了上下文感知的方法整合了用户的环境信息用于个性化建议（Webert等人, 2010）。在数据处理方面则应用了标签相关的技术整合了产品标签到传统的协同过滤方法中（TsoSutter等人, 2008）。通过引入信任模型分析了用户之间互信的关系（Bedietal, 2007），而基于群组的方法则专注于为每个群体提供定制化的服务（McCarthy等人, 2006年）。

3.1.1 Collaborative filtering recommender systems

协同过滤方法主要基于用户的群体在兴趣趋同基础上的历史购买记录生成推荐列表，并且主要可分为Memory-based algorithms和Model-based algorithms两种类型。

3.1.2 Content-based recommender systems

基于内容的推荐系统基于项目的描述性属性和用户的喜好产生推荐。

3.1.3 Hybrid recommender systems

协同过滤与基于内容的推荐系统各有其长处与不足,混合式推荐系统则是将两者融合在一起.

3.1.4 Challenges of recommender systems

推荐系统面临的四大挑战：准确性、数据稀疏、冷启动、可伸缩性

3.2 Deep learning

深度学习属于机器学习这一领域，并通过构建多层表示来实现数据特征的提取与表征。基于层次结构的设计机制，在人工神经网络的基础上实现了高层次抽象能力的形成（邓和俞, 2014）。自Hinton团队(2006)提出一种训练深度模型的有效方法以来,Bengio(2009)展示了深度架构在复杂人工智能任务中的强大能力,如今深度学习已发展成为计算机科学中的一个重要研究前沿领域。目前,该方法已在计算机视觉、自然语言处理及语音识别等多个领域取得了最先进的技术突破（邓和俞, 2014）。尽管神经网络与深层模型的理论基础形成于50多年前,但在过去几十年里,该技术领域的快速发展带来了显著的发展机遇

在本节中，我们简要介绍了在推荐任务中广泛使用的深度学习模型。

3.2.1 Restricted Boltzmann machines

受限玻尔兹曼机(RBM)属于一种特殊的玻尔兹曼机架构，在这种架构下由两个层级构成。其中一层包含可见性单位，另一层则包含隐藏性单元。各层级内部的节点之间不存在直接连接（Salakhutdinov和Hinton, 2009）。

在模型架构中，可见单元与观察对象的组成部分存在对应关系；而隐式单元则反映了各观察组件之间的相互依存关系。例如，在经典的 handwritten digit recognition 问题（如Ciregan等人）中研究发现：当2010年的研究时

3.2.2 Deep belief networks

深层信念网络（DBN）是一种多层学习体系结构，它使用一堆RBM来提取训练数据的深层层次表示。在这样的设计中，每个子网络的隐藏层充当即将到来的子网络的可见层。
通过DBN学习时，首先底层的RBM是通过将原始数据输入可见单元来训练的。然后，对参数进行加密，并将RBM的隐藏单元用作第二层RBM的输入。学习过程一直持续到到达堆叠子网络的顶部，最终获得合适的模型来从输入中提取特征。由于学习过程是无监督的，所以通常在DBN的末尾添加一个新的监督学习网络，以便在分类或回归等监督学习任务中使用它。
3.2.3 Autoencoders

自组织编码器是一种前馈型人工神经网络架构设计框架，在数据学习过程中通过隐含变量捕捉数据潜在分布特性（Hinton与Salakhutdinov, 2006）。这种体系结构通常包含三个主要组件：输入单元群、中间隐含单元群以及输出单元群（图3）。其中隐含单元群的数量通常少于输入单元群的数量以避免冗余信息存储（Bishop, 1998）。

基于深度信任网络的RBMs构建

3.2.4 Recurrent neural networks

递归神经网络是一种处理序列数据的人工神经网络。

Hochreiter和Schmidhuber 1997

3.2.5 Convolutional neural networks

卷积神经网络是一种前馈型神经网络，在至少一个层中使用卷积运算来替代常规矩阵乘法操作。该方法已被广泛应用于图像识别、语音处理以及自动驾驶等复杂任务中。一个典型的CNN由三个主要组件构成：卷积层、汇聚层和全连接层。这些组件通过堆叠形成卷积网络架构（如图4所示）。

在使用CNN的典型图像分类任务中，网络各层执行以下操作。

• 卷积: 作为关键的操作单元, 卷积主要用于从输入信号中捕获特征信息. 该过程通过应用预定义的滤波器矩阵并结合一系列数学运算生成特征图.
• 非线性: 为了在模型中引入非线性响应特性, 每次完成卷积计算后都需要施加一个特定函数处理.
• 池化(子采样): 在降低神经网络参数规模的同时, 池化操作可有效减少计算复杂度, 并从而加快整体计算速度.
• 分类: 卷积层与汇聚层输出端所得到的结果, 实际上反映了输入样本的关键属性. 这些属性可通过全连接层进行分析与分类.

4 Perspectival synopsis of deep learning within recommender systems

在推荐领域中应用的深度学习技术已成为一个引人注目的研究方向。通过分析多源数据以及识别潜在特征的能力,_depth_learning_techniques_能够显著提升预测精度,尤其是在协同过滤方面表现尤为突出._随着大数据基础设施及超级计算机的发展态势日益明显,相关算法体系也得到了迅速发展._研究者已开始充分利用这些先进的方法来改进推荐系统的性能._针对可扩展性和数据稀疏性等主要挑战问题,他们在 recommendation systems 中开发了一系列创新方法._此外, 在生成个性化内容、降维处理以及整合多源数据方面也取得了显著成效._它们广泛应用于构建基于用户的协同过滤模型以及融合内容信息的技术框架._其中一些模型同时考虑了这两方面的因素._表1列出了当前用于 data modeling 研究的重要文献资料

4.1 Deep learning techniques for recommendation

在这一部分中, 我们深入探讨了深度学习方法在推荐系统中的应用途径及其主要目标. 本节所涉及的技术包括受限玻尔兹曼机 RBMs, 深度信念网络 DBNs, 自动编码器 Autoencoders, 以及循环神经网络 RNNs 和卷积神经网络 CNNs. 同时, 在其他技术小节中也深入探讨了一些非传统方法.

4.1.1 Restricted Boltzmann machines for recommendation

RBMs属于玻尔兹曼机器的一种特殊架构形式，在这种设置下包含了可见层与隐藏层两个核心组件。RBM的设计特点在于其无层内连接机制。该技术框架被广泛应用于推荐系统领域，在这种应用场景下主要用来识别用户偏好或项目评级中的潜在特征维度。通过整合用户对已评分项目的偏好与对特定项目的评分关联性来建立模型，并进一步提高推荐系统的准确性水平（Georgiev和Nakov, 2013）。在群体推荐系统中也常采用RBM模型来构建偏好模型

4.1.2 Deep belief networks for recommendation

深度信念网络（DBN）在推荐系统的领域内主要应用于从音频数据中提取隐含且有实用价值的特征，并将其应用于内容基与混合型音乐推荐（王与王2014）。同时，在基于文本数据的应用场景下，则有相应的研究展开。此外，在针对内容型推荐系统的开发过程中，则有研究将DBN用作分析用户偏好的分类工具尤其是针对文本型数据的情形更为突出。通过DBN进行语义表示是一项重要方法论工作；而且研究者们还发现了一种新的路径：即从用户的偏好出发逐步提升模型性能的能力。

4.1.3 Autoencoders for recommendation

一个简单的自动编码器用编码器部分压缩给定的数据，并通过解码器从其压缩版本重建数据。自动编码器试图通过降维操作重建初始数据。这种类型的深度模型用于推荐系统中，以学习用户-项目矩阵的非线性表示，并通过确定缺失值来重构它。自动编码器还用于降维，并通过使用编码器部分的输出值提取更多的潜在特征。此外，稀疏编码被应用于自动编码器以学习更有效的特征。
DAEs是一种特殊形式的自动编码器，其中输入数据被破坏以防止成为身份网络。SDAEs只是许多堆叠在一起的自动编码器。这些自动编码器提供了提取更多隐藏特征的能力。DAEs用于推荐系统中，以预测损坏数据中的缺失值(吴等人。2016b )，SDAEs帮助推荐系统找到更密集形式的输入矩阵( Strub和Mary，2015 )。此外，通过允许来自多个数据源的数据，它们也有助于将辅助信息集成到推荐系统中。Wang等人( 2015b )利用贝叶斯统计数据分析，而李等人。( 2015年)利用边缘化DAE将辅助信息集成到他们的推荐系统中。Wang等人( 2015a )还通过生成概率形式的SDAE来将辅助数据整合到评级中，从而提出了关系SDAE。由于边缘化的DAE比DAE具有更大的可扩展性和更快的速度，因此它成为推荐系统中一个有吸引力的深度学习工具。(王等人。2015b )，辅助数据仅在输入级被集成。不像(王等人。2015b )，辅助信息被集成到( Strub等人)中的SDAE的每一层。( Strub等人2016年；Wei等人2017 )，使用自动编码器从辅助数据中提取特征，并与CF方法紧密耦合，如概率矩阵分解和TiME vd++ for ( Strub等人。2016年)和(魏等人。2017 )，分别解决稀疏性问题。Ying等人( 2016年)利用自适应进化算法提取辅助信息的潜在特征，并将其整合到成对排序模型的贝叶斯框架中。

研究显示，在推荐系统领域中

4.1.4 Recurrent neural networks for recommendation

RNN专为处理序列信息而设计，在电子商务领域中能够影响用户的购买决策过程。然而，在传统推荐系统中，默认假设用户会在会话开始时建立初始偏好模型这一前提条件，在这种假设下忽略了实时收集的信息及其影响关系的重要性。为了更好地捕捉这些动态特征,RNN通过综合分析实时收集的信息,能够做出精准预测（吴等人, 2016a；Hidasi等人, 2016a；Tan等人, 2016）。Wu等研究者（Wu等人, 2016a）进一步提出将基于RNN的时间序列建模与传统的前馈神经网络相结合的方法,从而能够在生成预测结果时充分考虑用户的兴趣偏好与项目间的关联关系,Ko等研究者（Ko等人, 2016）则提出了基于时间动态建模的方法,通过将时间相关的表征参数与潜在因子结合起来提升推荐效果,Wu等人的工作（Wu等人, 2016a）以及Ko等人的研究（Ko等人, 2016）都取得了显著的效果

在对推荐系统进行深度学习研究的过程中，可能会揭示出几个关键发现。相较于传统的最近邻方法和基于矩阵分解的技术而言，在使用RNN进行推荐及短期预测（如预测下一个可消费的产品）时，在覆盖范围方面表现出显著优势。这种优势得益于RNNs对用户品味演变的捕捉能力以及用户与物品潜在特征之间协同进化能力的计算能力。此外，在基于会话的推荐系统中表现尤为出色，并且特别适用于将用户的隐含行为与其偏好进行有效整合的情况。

4.1.5 Convolutional neural networks for recommendation

基于上述分析可知，在数据处理方面 CNN 主要专注于从数据中提取潜在因素及特征这一目标，并特别适用于图像与文本数据的处理场景。与传统的基于内容的推荐系统不同的是 与传统的基于内容的推荐系统不同的是 这种深度学习模型能够有效地捕捉到数据中的复杂模式与特征关系 并据此生成更加精准的推荐结果 这种深度学习模型能够有效地捕捉到数据中的复杂模式与特征关系 并据此生成更加精准的推荐结果 这种深度学习模型能够有效地捕捉到数据中的复杂模式与特征关系 并据此生成更加精准的推荐结果 （2013年）在无法通过用户反馈获取潜在因素的情况下 通过使用 CNN 架构从音频数据中提取潜在特征 （2016年）则发展出了一种专门针对文本数据的方法 该方法通过 CNN 架构从文本信息中提取语义意义 并将其映射到同一潜在空间 （2016年）进一步将这一技术应用至图像领域 通过 CNN 提取图像的关键视觉特征 并结合用户的偏好信息 在同一潜在空间中建立映射关系 最终实现对用户的个性化推荐 （Wu等人 2017B）在此基础上 又提出了上下文感知推荐模型 这种模型不仅考虑到了用户的兴趣偏好 更能根据具体情境动态调整推荐策略 从而显著提升了用户体验质量 值得一提的是 基于上述分析可知 在数据处理方面 CNN 主要专注于从数据中提取潜在因素及特征这一目标 并特别适用于图像与文本数据的处理场景

4.1.6 Other techniques

神经自回归分布估计（NADE）是RBM的一种替代形式，它为离散变量提供可跟踪的条件分布（Larochelle和Mur-Ray 2011）。郑等人。（2016b）将NADE应用于用于CF的用户项首选项。作者提取用户项首选项的条件隐藏表示，以生成前缀。与基于RBM的CF相比（Salakhuttdinov等人2007年），NADE提供了更准确的建议，并且更有效地优化（郑等人2016B）。杜等。（2016）通过同时模拟所有用户和项目的评级，利用CF中的NADE。
前馈神经网络用于推荐系统，用于分类和生成预测（Wakita等人2016；Cheng等人2016；Zhang等人2018）。张等。（2018）利用多层神经网络，通过隐式反馈对用户和项目之间的交互进行非线性建模，实现项目的个性化排序。

4.2 Remedies for challenges of recommender systems

在推荐系统领域中应用深度学习方法的一个重要方向是开发高效的个性化推荐机制。本节专门探讨基于深度学习的研究成果，在这一过程中我们重点考察了解决实际应用中的关键问题及其对应的解决方案。

4.2.1 Solutions for improving accuracy

提升推荐系统中使用深度学习技术的预测精度的主要目标之一在于提高其性能表现。基于其在发现隐含特征方面的成功应用，在推荐系统领域研究人员则利用这些技术来提取潜在特征。研究表明，在结合RBM模型和奇异值分解（SVD）后...

结果显示 autorec算法表现优异，在对比基于RBM的偏差加权矩阵分解协同过滤方法（Salakahuttdinov等人 2007年）以及本地低阶矩阵因式分解方法（LLORMA）时，在movientes和netflix两个数据集上的准确率均高于两者。

郑等（2016b）将NADE应用于协同过滤步骤中。为了提升算法精度，在同一项目的不同评分之间共享参数以生成基于项目的模型，并将其延伸到更深层次的模型中。他们的实验结果表明，所提出的方法早于最新的算法如llorma、autorc（sedhain等人2015年），基于RBM的CF（Salakhuttdinov等人以及基于moviences和net flix数据集的几种矩阵分解方法。

Wu等人（2016b）通过对用户偏好的密度重新构建，在Top-N推荐中提出了一种协同去噪自动编码器（CDAE）。研究表明，在推荐精确度方面,CDAE的主要组件,即映射函数,损失函数以及损坏程度,均发挥了显著作用。通过设定隐藏层及输出层的映射关系分别为sigmoid函数与identity函数,丢失关系采用square损失与logistic损失，并设定损坏程度为不同比例值(包括0.0 0.2 0.4 0.6 0.8 和1.0),研究者们成功生成了四种不同的变体版本。他们在Movielens Netflix和Yelp等数据集上进行了实验检验。实证结果显示最佳参数的选择依赖于具体数据集的不同特征非线性模型显著提升了预测精度

尤格尔等人。（2016）通过自动编码器和主成分分析（PCA）提取传感器数据中的潜在上下文特征，并从而提升推荐系统的上下文感知准确性。研究者将特定的上下文特征与自动编码器或PCA学习到的潜在上下文特征进行融合，并将其与显式上下文模型及矩阵因子分解模型的准确性进行对比分析。实验结果表明，在仅使用自动编码器提取的潜在上下文特征中展现出显著的优势，在提供正面反馈信息以及反向反馈信息的情况下表现尤为突出。

研究团队（2017）基于深度自编码器对用户的潜在特征和项目的潜在特征提取过程进行了优化设计，在信任感知推荐系统性能评估指标方面取得了显著提升效果。实验结果表明，在保证系统收敛性的前提下，所提出的改进方法在准确率指标上明显优于现有的基于信任感知机制的推荐算法

识别隐含特征的能力显著提升了深度学习技术的价值。在推荐系统领域中，在线应用广泛。通过深度学习算法识别用户的兴趣模式，并结合商品属性优化推荐结果；开发出结合用户行为与商品特性的模型，并通过整合偏好数据构建预测框架。

特鲁瓦等。（2009）探讨了潜在特征与内部维度的用户偏好及项目特性相结合的方法，并考察了基于用户的Boltzmann机器模型（以图形化表示用户的潜在方面及其评分）、基于项目的Boltzmann机器模型（仅考虑项目评分）、以用户和项目为中心的协同建模方法以及基于协同因子分解（SVD）的方法在用户和项目层面的相关性分析。通过实验验证表明，在推荐系统性能评估方面，上述方法均表现优于传统的SVD方法；其中，在涉及MovieLens数据集的联合建模中表现出色

研究团队（杜等., 2016）开发了一种名为CF的神经自回归模型。该模型旨在通过构建用户与项目之间的自回归关系以提升预测准确性。实验结果表明，在推荐系统领域中所提出的算法表现优于现有的多种方法。其中包含了与Autorc（Sedhain等人, 2015）以及CF-Nade（郑等人, 2016b）相关的准确度评估指标的数据集。

王等。（2015a）开发了一种混合标签感知推荐系统，并通过融合辅助信息与SDAEs构建其架构设计。此外，他们还设计了一个概率SDAE模型来分析项目间的关系网络，并结合分层表示学习与关系学习方法形成一种新型体系称为关系SDAE。实验结果表明，在CiteULike和movielens数据集上进行对比测试后发现所提出的基于关系的学习框架显著优于现有的标记感知推荐方法

胡等人（2014）在其研究工作中聚焦于基于群组的推荐系统，在这一领域中采用了深度学习技术作为核心工具，并以提升准确性为目标对算法进行了优化设计。研究者通过深入分析发现，在数据处理过程中需要从群体成员的特征出发提取具有代表性的集体特征，并将其整合到原有的偏好模型当中进行信息融合处理。通过实验结果对比分析发现，在当前推荐算法研究领域所取得的主要研究成果基础上，本研究提出的基于深度学习的技术方案能够显著提升推荐系统的性能表现

深度学习技术能够实时追踪用户的偏好变化趋势，并能够提升推荐系统的性能水平。

该研究者（2017）基于RNN模型对用户行为预测中的用户项目交互共同演化特性进行了非线性建模，并成功实现了预测精度的显著提升。研究结果表明，在准确性评估方面，所提出的方法显著优于基于IPTV、Reddit以及Yelp数据集上构建用户项交互模型的最新技术。

Devoght和Bersini（2017）基于RNN的技术将推荐过程转化为序列预测问题，并进一步提升了在短时间内的预测精确度以及项目的覆盖范围。该研究不仅考虑到用户的偏好情况，并特别关注了偏好顺序的不同层次。他们的研究结果显示，在短期预测准确性方面所提出的方法显著优于当前最先进的Top-N推荐算法。

吴等人。（2016a）基于深度RNN生成用户的实时行为数据的即时反馈。他们将模型整合到前馈神经网络中，并参考用户的购买记录来模仿协同过滤方法。

该研究团队（2016）开发了一种双层循环协同表示模型，在融合建模技术的基础上整合序列生成与潜在关系提取机制，在构建了一个融合推荐系统的过程中实现了对推荐系统准确性显著提升

研究表明，深度学习显著提升了推荐精度的主要原因在于其能够识别潜在的特征信息，并整合来自多源数据的支持。

4.2.2 Solutions for sparsity and cold-start problems

以CF为基础构建的推荐系统中，有效应对数据稀疏性问题的一种解决方案是采用深度学习技术对高维与稀疏的用户项矩阵进行降维处理后生成更为紧凑且密集的数据集合。

研究者Unger等人（2016）采用自动编码器来处理基于内容的推荐系统中的稀疏性问题。其稀疏性问题源于集成高维度上下文特征所致，在这些特征中发现：从传感器获取的具体上下文信息与经过自动编码器降维后的潜在表示具有显著关联。

推荐系统中数据稀疏问题所带来的负面影响通常可以通过引入额外辅助信息来缓解

王等。（2015b）提出了协作深度学习作为一种紧密相关的技术手段，并将其应用于贝叶斯半监督深度自编码器（Bayesian SDAE）模型中以实现对数据稀疏性的有效解决。

Li等人（2015年）通过边缘化的DAE。

Oord团队融合了矩阵因子分解与深度学习技术以构建协同过滤模型。（2013）在该研究（2013年）中 通过卷积神经网络从音乐音频信号中提取出高阶特征 并成功解决了协同过滤方法中的 cold-start 问题

此外，在Wang和Wang（2014）的研究中开发出了两种模型——一种是内容导向的模型（CM），另一种是基于深度信念网络（DBN）的混合模型（HybridM）。这些模型能够以无需依赖显式的上下文信息的方式实现热启动与冷启动效果的有效结合。研究者们还开发出了一种混合方法（MM），该方法通过概率矩阵因式分解技术进行建模，并结合了基于DBN提取的学习特征向量作为输入数据来源。

该研究团队（2015a）提出了一种名为关系概率SDAE的方法，在整合提取出的特征后实现了对矩阵分解模型的支持，并从内容信息与项目间的关系中提取出相关特征以解决数据稀疏性问题。

魏等（2017）成功地将TimesVd++与基于内容的信息提取功能整合到SDAEs框架中，并利用该技术有效解决 cold start 和 sparse data 问题。

（申等.）（2015）也运用侧边信息解决了数据稀疏性和 cold start 问题来进行博客推荐。他们提取了文本和图像中的特征，并分别将其与 word2vec 和 CNNs 集成到他们的增强归纳矩阵构建的方法中。

沈等。（2016）采用潜在因子模型将CNN提取的潜在因子融入矩阵因子分解中以解决稀疏性问题

应等。（2016）基于SDAE从内容数据中提取深层特征，并将其整合进一对排序模型的贝叶斯架构里，以缓解数据稀疏性问题。

在一些研究中，研究人员将内容信息融入推荐机制中，并致力于解决一些研究中的数据稀疏性和 cold start 问题

斯特鲁布等。（2016）将侧边信息集成到DAE的每一层中。

Gunawardana和Meek（2008）通过建立Boltzmann机器与项目内容信息之间的联系来解决冷启动问题。

研究团队（2017）开发了基于CNN的图像处理模型，并在其中提取特征以解决传统推荐系统中因标签缺失而导致的信息不完整性问题。

此外，在Ebesu和Fang（2017）的研究中提到了一种基于深度神经网络的方法用于从用户的隐式反馈以及项目的文本内容信息中提取项目表示。然而，在他们的研究中并未考虑到文本的具体上下文信息及其存在的顺序关系。对于 cold start 问题的一种替代方案是根据用户的当前浏览器行为而非其历史行为来生成预测结果

谭等。（2016）建议使用RNN根据当前用户活动生成预测。

为了应对当前会话中的冷启动问题,Ruocco等人（2017）将RNN与用户最近的会话信息进行融合

此外

查茨斯等。（2017）运用贝叶斯推理技术和RNN以对话式推荐系统中存在冗余性的问题为基础进行研究

针对音乐推荐领域而言，Vall等研究者（2017）开发了一种基于神经网络的技术，并旨在为稀疏数据集提供解决方案。

沃尔科夫等人。（2017）针对冷启动情况，建议在网络培训期间申请退出。

其次，在特征工程的基础上应用深度学习技术，并通过异构数据源抽取的特征整合到推荐机制中以缓解数据稀疏性及冷启动问题。在现有的深度学习技术中，其中自动编码器、卷积神经网络（CNN）以及深度 believe 网络（DBN）是最常用的技术。

4.2.3 Solutions for scalability problem

为了解决可扩展性问题, 研究人员通过深度学习技术提取高维用户的偏好以及项目评级的低维潜在因素(Salakhuttdinov等人2007年; Truyenetal. 2009年; Georgiev和Nakov 2013年; Elkahky等人2015)

特鲁瓦及其团队（2009）基于Boltzmann机器识别项目和用户的潜在特征，在大规模数据集上构建预测模型。

该研究团队（2015年）开发了一种多视图深度神经网络，并成功地将高维度的数据映射至更低维度的空间以便于后续分析与应用。该方法旨在解决可扩展性问题。此外，他们还采用了多种降维方法来进一步优化模型性能。如选择与目标变量高度相关的K个关键属性作为核心指标，并通过K均值聚类算法将相似属性分组到同一簇中以提高分类效率。在整个训练阶段对用户的原始数据进行局部敏感散列处理后才开始扩展现有网络结构以便更好地适应新的数据规模与复杂度需求。另有研究团队采用受限玻尔兹曼机（RBM）作为降维工具来处理海量数据信息

Lounge（2010）提出了若干方法，包括基于共享内存的并行计算、基于分布式架构的并行计算以及通过改进基于受限玻尔兹曼机（RBM）的协同过滤技术来提升系统扩展性的策略集合。研究者指出，在推荐性能方面，并行计算的表现优于其他类型的算法。

在推荐系统中选择修改部分深度学习模型以优化其可扩展性是一种首选的方法。杜等。（2016）基于用户与项目的神经自回归模型的研究成果表明，在改进算法效率的同时还能保持较高的预测精度；该研究团队设计了一种随机优化算法旨在提升该模型的学习效率与效果。

4.3 Awareness and prevalence over recommendation domains

基于深度学习驱动的模型，在推荐领域的认知度与流行度对于致力于该课题研究的相关学者而言具有重要意义。本节中我们将以实验研究为目标的研究方向对现有文献展开系统分类，并将高度相关的相关领域紧密关联起来以形成八个核心群体。图5直观展示了这些推荐领域的实验性文献分布情况。需要注意的是考虑到不同推荐领域的独特性及多样性一份文献可能会被归入多个类别中。

4.3.1 Movie recommendation

4.3.2 Book recommendation

4.3.3 E-commerce
4.3.4 Music recommendation

4.3.5 Social networking recommendation

4.3.6 News and article recommendation

4.3.7 Image and video recommendation

4.3.8 Other domains

4.4 Specialized recommender systems and deep learning

在本节中, 我们将深入探讨基于深度学习技术的专业化推荐系统. 表5详细展示了专业推荐系统中采用深度学习技术的出版物分布状况, "其他"类别由于出版物数量有限, 具备了较高的信任意识以及基于群体的推荐机制.

4.4.1 Dynamic recommender systems

4.4.2 Context-aware recommender systems
4.4.3 Tag-aware recommender systems

4.4.4 Session-based recommender systems

4.4.5 Cross-domain recommender systems

4.4.6 Other techniques

5 Quantitative assessment of comprehensive literature

在本节中，我们提供了对综合文献的定量评估，分析了出版物的出版时间、出版类型和使用的数据集。
首先，我们在图6中展示了这些年来的出版物数量。自从萨拉赫胡迪诺夫等人进行了第一项非凡的工作以来。( 2007 )，将深度学习技术应用于推荐系统的趋势越来越明显。从那以后，该领域提出的研究数量一直在上升。作为该领域出现的一个重要标志，请注意，2016年发表了27篇研究论文，而本次调查涵盖了2017年的50多项研究。
将深度学习和推荐系统结合在一起的研究数量的增加可能与计算机科学中深度学习的整体流行性和有效性有关。关于推荐系统领域，深度模型在从不同来源学习和在推荐参与者中提取隐藏特征方面非常成功。通过考虑大数据处理能力的进步和解释当前将深度模型应用于推荐系统的趋势，可以断言两个领域的协作在不久的将来也会继续流行。
其次，我们根据它们的出版类型来考察这些研究。虽然arXiv3上有一些电子预印本，但我们将这些研究排除在分析之外，并获得了四种主要的出版物类型，即会议论文、期刊论文、研讨会论文以及论文和学位论文。图7显示了这些年来出版物类型的总体分布和时间变化。由于一半以上的研究是在会议上发表的，因此论文中占主导地位的出版类型就是这种类型。然而，研讨会和期刊论文也呈上升趋势，因为过去5年来这种趋势一直在延续。

第三阶段评估重点考察了研究过程中所涉及的数据集。我们系统性地回顾了每篇论文中的实验设计，并通过图8所示的饼图形式，清晰地展示了不同数据集所占的比例分布情况。值得注意的是，在现有研究中并非所有实验均基于公开数据进行；其中约44%的研究采用了私有或定制的数据集作为实验基础。值得注意的是，在这些私有数据集中，“其他类”占比最高（约56%），这类数据特征主要体现为仅限于某一项研究使用的专用属性。基于这一关键观察点，在实际分析中我们特别关注了几大知名公开数据集：MovieLens、Netflix和Yelp。具体而言，在本研究中约21%的研究采用了MovieLens作为实验数据源；约8%则选择了Netflix作为其核心数据库；而Yelp在本研究中的应用比例约为7%。表6进一步揭示了MovieLens与Netflix这两个大数据集中各自包含的独特属性特征

6 Insights and discussions

如我们所述，在计算机科学多个领域深度学习技术的发展现状被广泛探讨，并已在推荐系统领域的显著成效得以验证。提升计算能力、大规模数据采集与预处理以及多维度数据融合已成为当前深度学习应用的核心驱动力。本节重点将阐述我们的研究成果与理论框架，并全面梳理基于深度学习推荐系统的总体分析及研究进展

( i) 深度学习并不专门针对一种独特的推荐方法；它们被用于各种不同目的的推荐方法中。在基于内容的过滤中，这些技术主要用于提取特征，以从异构数据源生成基于内容的用户/项目文件。然而，在CF中，它们通常被用作基于模型的方法来提取用户-项目矩阵上的潜在因素。在混合推荐系统中，利用深度学习方法从辅助信息中提取特征，并将其集成到推荐过程中。
( ii) 在所有深度学习技术中RBMs、自动编码器和NADE是潜在因素分析中最常用的技术。尽管现有的研究表明，在准确性方面，NADE领先于基于RBMs和自动编码器的推荐系统，但自动编码器在推荐系统研究中更受欢迎。相比之下，自动编码器在推荐系统领域更受欢迎，因为它们结构简单、适合特征工程、降维和缺少价值估计能力的场景。
( iii) RNNs主要用于基于会话的推荐，通过将当前用户历史记录集成到他们的偏好中来提高准确性。此外，推荐系统更倾向于使用RNNs来考虑用户随着时间的推移不断变化的品味。
( iv) CNNs和DBNs主要用于文本、音频和图像输入的特征工程。提取的特征用于基于内容的过滤技术或作为CF中的辅助信息。

(v) 该系统通过深度学习技术来解决推荐系统中的数据稀疏性和 cold start 问题。方法是从辅助信息中获取特征并将其整合到用户的项目偏好模型中。此外，在该系统中还采用了一种方法将高维稀疏特征降维为低维密集特征。
(vi) 研究表明，在推荐系统领域基于深度学习的方法显著优于传统的推荐算法（例如基于矩阵分解和最近邻搜索的传统方法）。造成这种差异的主要原因是深度学习算法能够提供一种更为复杂的非线性表示能力，并能发现难以理解的行为模式。
(vii) 在上下文感知的推荐系统中，该系统利用了深度学习方法来建模环境数据并捕获用户偏好与环境之间的相互作用关系。

( viii) 深度学习技术被应用于标签感知推荐系统中，在整合标签作为辅助信息的同时或基于标签对用户项目偏好进行建模。
(ix) 基于深度学习的方法也被应用于推荐系统中，并通过降维等手段处理大规模数据集；此外还可以将现有的深度学习技术采用更为可扩展的方式进行处理以应对大规模数据。
(x) 研究结果表明深度学习模型以更深的形式相比浅层形式会产生更为精确的建议；此外结合基于用户和基于项目的两种方法也能进一步提高推荐精度。
(xi) 由于大多数基于深度学习的推荐方法主要关注于提高评分预测或项目排名预测的准确性，在这类推荐系统中通常使用的评估指标同样也被引入到基于深度学习的技术中；评估基于深度学习推荐方法的标准包括均方误差（MSE）、平均绝对误差（MAE）、预测精度均方根误差（RMSE）；分类精度的相关指标如分类精度、召回率、F1值以及接收器工作特性（ROC）曲线；此外归一化非计数累积增益（nDCG）也被用来对推荐项目列表进行排序评价。
(xii) 对基于深度学习的方法展开实验性分析时所采用的评估手段与机器学习领域相似主要包括k折交叉验证以及将输入数据按顺序拆分为训练集与测试集并保留验证集以避免过拟合等问题。

此外, 我们鼓励读者开始研究课题, 确保未来在推荐系统领域深入学习的工作得以顺利开展. 我们罗列了研究人员可能在推荐系统领域关注的不足之处.

（i）在推荐系统中，修改深度学习模型以使其更具可扩展性仍然是一个挑战。此外，在数据量增长的情况下，仍然需要对参数的指数增长进行优化的解决方案。
（ii）为了提高推荐系统的准确性和处理稀疏性问题，需要将附加信息集成到用户项目偏好中。对于电子商务，除了用户项目偏好矩阵之外，还可以利用上下文数据、标签和用户偏好的演变来生成合适的推荐。因此，可以以更复杂的方式使用深度学习方法，从许多不同的数据源中提取有用的信息，并将它们集成到推荐生成过程中。
（iii）基于深度学习的方法用于模式识别，从音频信号、视频、图像和文本中提取特征。不幸的是，只有有限的研究利用深度学习技术的能力来提取低维特征，特别是在图像、视频和音乐（歌曲）推荐中。
（iv）在推荐系统中，用户和物品的演化和共同演化是显著的时间动态。因此，深度序列网络可以用来改进动态推荐系统。

(v) 由于基于深度学习的方法因其具有的表示非线性数据的能力而展现出了更高的质量，在推荐系统中得到了广泛应用；它们还可用于改善诸如偶然性、新颖性、多样性和建议覆盖范围等其他标准。
（vi）专门设计的推荐系统能够缓解数据稀疏性问题并提供更为精准的推荐服务；然而，在这一领域内的研究工作量相对较小，并且在跨领域、空间感知以及基于群体和信任感知等方面的深入研究仍显不足。
（vii）在现代信息处理中，深度学习技术常被应用于处理数值形式的偏好数据；由于其最初应用于分类任务的特点，在二元化偏好条件下构建基于深度学习模型以实现个性化推荐的可能性值得探讨。
（viii）当这些方法应用于非私有化偏好数据时，在生成建议方面能够实现较高的准确性水平；但当转向私有化数据时，在保证推荐准确性的同时平衡好隐私保护目标与技术性能之间的冲突便成为一个亟待解决的问题；此外，在集中存储型或分布式私有集合型数据环境中应用这些技术也面临着新的挑战。
（ix）深度学习技术成功地提取了丰富的特征信息；然而，在基于内存的内容相似度 Collaborative Filtering（CF）算法中尚无此类技术用于识别活跃用户的最近邻节点以进一步提高推荐精度的技术应用；探索这种改进方向的技术难题仍待解决。

四、总结

深度学习已经在计算机科学的所有领域变得越来越流行，例如自然语言处理、图像和视频处理、计算机视觉和数据挖掘，这是一个显著的现象，因为以前还没有这样一种通用的方法用于解决不同类型的计算问题。有了深度学习技术的这些方面，它们不仅能够很好地解决许多领域的复杂问题，而且还为这些研究领域形成了共同的词汇和共同点。深度学习方法甚至有助于这些子领域相互协作，过去由于所用技术的多样性和复杂性，这些子领域存在一些问题。
本调查研究旨在回顾现有的基于深度学习的推荐系统方法的完整文献，以帮助新研究人员建立对该领域的全面理解。我们主要从四个主要方面对当前的文献进行分类，我们认为这有助于读者形成整体的理解。首先，我们调查了基于不同深度学习模型的文献，并根据使用的深度模型对研究进行了分类，目的是了解深度学习技术对推荐生成问题的影响。其次，我们从深度学习方法如何弥补当前推荐系统研究的挑战以及它们在实现这一目标上取得多大成功的角度来审视文献。此外，我们的目标是指导读者思考如何为现有问题提供基于深度学习的解决方案，以及什么是未来工作的保证。然后，我们评估了基于深度学习的推荐系统关注的应用领域，并提供了主要领域的分类。最后，我们分析了深度学习技术与推荐系统的目的性之间的关系，并将出版物分类为相应的推荐系统类型。我们还对出版物进行了总体分类，对文献进行了定量评估，并讨论了在该主题上获得的见解。
只要个性化趋势继续流行，推荐系统的研究将在信息过滤中发挥重要作用。尽管深度学习在推荐系统领域的应用带来了显著和令人鼓舞的结果，但准确性和可扩展性等挑战仍有待改进，并值得未来展开研究。