第二篇《基于深度学习的推荐系统研究综述》论文阅读笔记

[黄立威, 江碧涛, 吕守业, 刘艳博, 李德毅. 基于深度学习的推荐系统研究综述[J]. 《计算机学报》, 2018, 41(7): 共 spanning 30 pages.
基于深度学习的推荐系统研究综述

一、文章本身

1.Primary thesis （文章主旨—文章想说啥？如果不明显就自己去总结）

对 推荐系统 研究进展的综述研究主要聚焦于基于深度学习的技术发展

2. 传统推荐方法

1. 以用户的已有选阅或评分行为为基础... （ 根据用户的已有选阅或评分行为...)
2. 协同过滤法... （ 利用类似用户的兴趣偏好...)
3. 混合推荐策略主要包含三种融合方式：后向融合、中向融合以及前向融合。

3. 深度学习主要方法；

自编码器（Autoencoder, AE）

目的是为了使输入x尽可能接近输出y,这种接近程度通过重构误差来衡量.然而,传统的自编码模型容易陷入学习恒等映射的困境.常见的变体包括稀疏自编码器.降噪自编码器以及栈式降噪自动编码器,其中后两种方法在去噪能力上有显著提升.其应用领域涵盖评分预测.文本推荐及图像推荐等多个方面

2. 玻尔兹曼机（Boltzmann Machine, BM）
定义：由若干可见单元和隐层单元组成的随机神经网络模型。其中的可见单元对应于数据样本中的可见变量，隐层单元则对应于隐层变量。每个单元的状态取值为0或1。
优点：能够提取数据中的复杂模式，并且具备强大的无监督学习能力。
缺点：其训练过程耗时较长。
变种包括受限玻尔兹曼机（Restricted Boltzmann Machine, RBM），它通过优化结构提高了学习效率。
在用户评分预测等场景中得到广泛应用。

3. 深度信念网络（Deep Belief Network, DBN）
应用较少，只限于音乐推荐，故略。

4. 卷积神经网络（Convolutional Neural Network，CNN）

定义：这是一种多维感知器，在主要用于处理二维图像数据方面表现出独特优势。

应用场景：较广泛，主要包括图像推荐、音乐推荐、文本推荐等。

5. 循环神经网络（Recurrent Neural Network, RNN）
定义：传统的全连接网络或卷积层称为具有层次结构的人工神经网络；而循环神经网络则不同，它由多个相同的神经元模块按照一定的方式进行互联构成。
优点：该模型各层之间采用全连接结构，并且各层节点之间没有直接连接；然而该模型的一个显著特点是各隐层节点之间存在互联关系，并且可以通过当前输入以及前一时刻隐层的状态来计算当前时刻隐层的输出；从而能够有效记忆过去的信息（例如，在需要预测句子中下一个单词时需要依赖前面已经出现过的单词信息）。
缺点：由于梯度消失问题的存在，在处理长序列数据时可能会遇到性能瓶颈
变种：目前应用较为广泛的变种包括长短时记忆网络（Long Short-Term Memory, LSTM）、门限循环单元（Gated Recurrent Unit, GRU），这些模型在处理长程依赖关系方面表现更为优异
应用场景：主要应用于机器翻译、语音识别以及图像标注生成等领域

4. 基于深度学习的推荐系统的研究进展（重点分析）

略

5. 展望基于深度学习的推荐系统的未来研究趋势；

略

6. 结束语

    略

二、我能从本文学到的

1. 有哪些重要的观点你想要记住，或是将来可能会引用到 （key citations）；
   - 卷积神经网络（Convolutional Neural Network，CNN）

• 定义：属于一种多类感知机网络，在实际应用中主要用于处理二维图像数据。
• 优点：该方法通过减少模型中的神经元数目和参数个数来降低计算复杂度，并且具备更强的抗干扰能力。
• 基本结构：输入端开始于输入层作为基础结构；随后经过卷积运算生成丰富的特征表示；接着通过下采样（池化）操作显著减少计算量；之后利用全连接层完成深度学习过程；最后通过输出端得到最终结果。

• 应用场景：较广泛，主要包括图像推荐、音乐推荐、文本推荐等。

- 循环神经网络（Recurrent Neural Network，RNN）

• 定义：全连接神经网络或卷积神经网络通常由输入层依次经过隐层至输出层构成，在此结构中各层间均为全连接状态；而循环神经网络则呈现不同层次间有组织联结特征。

  • 优点：各隐层节点之间存在关联，在计算当前时刻隐状态时可综合考虑输入状态信息与前一时刻隐状态信息；这使得RNN具备对历史信息进行有效记忆的能力（在需要预测句子后续单词时通常需参考前面已知单词序列）。
  • 缺点：面临梯度消失问题，在处理长时依赖关系方面表现不足。
  • 变种：基于长短时记忆模型（LSTM）以及门限循环单元（GRU）等创新性设计的变种模型已成为当前应用主流。
  • 应用场景：广泛应用于机器翻译、语音识别以及图像标注生成等领域

有哪些结论你将来可能用到；

有哪些方法你将来可能用到；

文章在研究设计上有哪些不足?有没有更好的改进方法？

文章让你想到了哪些观点类似或者完全不同的其他文章？

三、总结

你对文章中的论点、探讨、策略以及分析等方面有什么看法和批评吗？本文主要阐述推荐算法的相关内容，并与我的研究方向有所不同，在此仅限于快速浏览。

相关术语解释

1. 鲁棒性（Robustness）：就是稳定性 ↩︎

无监督学习的能力：判断是否有监督性（supervised），需考察输入数据是否存在label（label）。若存在label，则属于有监督学习；若无label，则属于无监督学习。

无监督学习的能力：判断是否有 supervision（supervised），需考察 input data 是否存在 label（label）。若存在 label，则属于 supervised learning；若 input data 没有 label，则属于 unsupervised learning。