Wide &Deep Learning for Recommender Systems

本文思路整理如下：

一， Contribution

二， 实验

实际需求

训练数据

实验环境

2.1本文模型

2.1.1 模型输入

2.1.2 模型训练

2.1.3 模型输出

2.2 实验结果

《 Wide & Deep Learning for Recommender Systems》

目的：采用Wide &deep构建模型，从而得以更精准做Google Play推荐。

论文信息：Google发表于DLRS 2016的一篇文章。

一，Contribution：

该框架采用了Wide & Deep的学习方法，并通过整合Logistic回归模型与前馈神经网络，在理论上达到了最优解的状态。不仅充分发挥了Logistic回归的优势，并且通过自动提取特征间的组合关系以及强大的泛化能力进行补充优化工作，在实现记忆能力和泛化能力的平衡上取得了良好的效果。

2）在Google Apps推荐的大规模数据上成功应用。

3）基于tensorflow开源了代码

二， 实验：

首先：考虑实际需求：

l 超过1,000,000个应用程序。
因此，在精确计算每个查询的延迟需求方面存在较大的挑战性。

基于所述需求，在本论文中首先进行rough screening；随后采用机器学习模型与人工定义规则结合使用的方法进行初步筛选；接着通过精确排序算法进一步优化结果。

在检索过程中输入query，其代表了用户行为与环境状态的信息组合。输出则为推荐系统按照优先级排序后的结果集合。

Ranking部分是本文的核心内容，Wide&Deep Learning Framework在此应用，并将进行详细阐述。

其次，本文实验数据集：Google Apps。**
**

---

实验环境：tensorflow

---

2.1本文模型：

该方法基于逻辑回归（logistic regression）模型，并为了提高其在数据存储方面的表现而引入了特征变换（transformed feature）。在深度学习领域中采用深度神经网络（deep neural network）架构以处理稀疏及未知的输入特征组合，并通过低维嵌入技术实现其在泛化性能方面的提升。具体分析可参考附图

2.2.1 模型输入

l user features (e.g., country, language, demographics)

l contextual features (e.g., device, hour of the day, day of the week)

l impression features (e.g., app age, historical statistics of an app).

2.2.2 模型训练

1,对于Wide部分

Wide部分为简单逻辑回归y=wx+b。

特征集包括原始输入特征和转换特征。转换特征如下：

如前所述，在（性别设为女且语言设为EN）的情况下赋值为1的条件是：仅在“性别=女性”这一特征与“语言=EN”的特征同时被激活（即均为1）时才成立；否则赋值则设为0。这种设定将被非线性地纳入到原有的线性模型中以提升其预测能力

2,对于deep部分

输入由分类变量(生成嵌入表示)与连续实值变量组成。对于连续实值变量进行标准化处理至[0,1]区间后实施分箱离散化

嵌入技术被用来将高维稀疏的分类属性嵌入到低维连续的空间表示中。（Dense Embeddings）这些低维表示则与一系列连续变量（如用户年龄、应用下载次数等）进行融合处理。

生成的嵌入结果是在模型训练过程中通过自监督学习的方式生成的。随后将这些嵌入向量进行随机权重初始化，并将其作为输入传递至前馈神经网络的隐藏层中。

其中a是deep部分l层的输出activation结果。

3,对于w&d结合

wide与deep融合的方式，则是将两者输出经由加权处理后作为输入传递至一个logistic损失函数中进行优化计算。值得注意的是，在此情境下"联合训练"并非指"集成学习"（即ensemble），因为后者指的是两个模型分别进行独立训练的过程；而w&d则代表两模型同时进行参数更新的学习机制。

具体训练时，LR部分是FTRL+L1正则，DL用的AdaGrad。

为了优化计算效率，采用了热启动系统。该系统负责生成一个新的嵌入层，并采用线性组合模型来替代以前使用的线性加权模型。此外，在讨论推荐引擎性能提升时提及时序数据集处理问题时采用了较小规模的小批次数据，并行计算的方法以提高系统的运行效率。

2.2.3 模型输出

a是由deep部分的最后一层激活函数所生成的结果。Y被定义为二元分类标记；其中1表示程序已安装；0则表示未安装。概率值P(Y=1|X)被计算为一个介于0到1之间的分数，并用于评估排序性能。

****

2.2 实验结果

本研究系统性地从application-level acquisition和server performance两个维度分析Wide&Deep学习的效果

在对1%的线上用户进行A/B测试中，在线环境验证表明Wide&Deep方法表现出显著的效果。然而，在线下环境中难以观察到预期的效果提升可能源于固定的数据集限制了模型的学习能力。实验结果如表1所示：

该系统采用并行计算模式，并结合小批量处理策略以应对推荐引擎所需的高强度并发处理和极低延迟要求。实验结果可在表2中查看