Next Item Recommendation with Self-Attention

摘要

我们的模型利用自我注意机制从用户的历史交互中推断出项目与项目之间的关系有了self-attention，用户互动轨迹中每个项目的权重就能更好地代表用户的兴趣。
模型最后使用metric learning 框架进行训练，既考虑了短期特征又考虑了长期特征。我们的模型采用度量学习框架的形式，在该框架中，用户的自出席表示与预期(金色)项之间的距离在训练期间被拉近。

模型

我们的模型包括self-attention模型来对用户的短期意图进行建模，也包括协同度量学习模型来对用户的长期特征进行建模。

使用self-attention 对短期特征进行建模

z

在我们的文章中，所有三个部分 query,key,value是相同的，由用户的交互历史组成。

假设用户的短期特征可以从它的最近L个行为中反应出来。假设每个商品可以表达为一个d维的embedding 向量。让X∈RN×d表示整个项目集的嵌入表示。最近的L个商品堆积在一起得到以下的矩阵。

在这里，最近的L个item是Hu的子集，query等都等于Xut

第一：我们先讲query和key通过非线性转换共享参数 将query映射到相同的空间。

权重矩阵计算如下：

输出是一个attention map 维L*L 表示了L个item之间的相似度。softmax之前应用Amaskingoperation(它掩盖了仿射矩阵的对角线)，以避免query和key的相同向量之间的高分匹配。
可

• d第二 我们将Xut固定。注意，查询和键被用作辅助因素，因此它们对转换不敏感。
• 最后，仿射矩阵和值进行相乘得到self-attention的输出。
• 
• 可以看成是用户的短期意图表达。为了学习到一个单一的注意力表示，我们对L维self-attention表达进行均值计算
  来表示用户的短期意图。

input embedding with time signals 。

加入时间embedding。positional embedding .

在非线性转换之前加在query 和key上面。

用户的长期建模

如果用户u喜欢i，则距离很小，用户u大于i则距离大。

度量学习

目标函数：
考虑到timestept的短期关注意图和长期偏好，我们的任务是预测用户将与该时间步交互~的下一个item(用hu t+1表示)，为了保持一致性，我们采用了欧式聚类来对短期和长期效果，并使用他们的总和作为最后的推荐分数。~

第一个为长期建模，第二个为短期建模。
在一些情况下我们将预测下一些商品而不是一个商品。用T+来表示用户在groudtruth中喜欢的接下来N个产品，然后使用成对排序的方法学习模型的参数
。
我们需要T-个负样本，表示为T-，为了使两者距离更大，我们采用了margin-based hinge loss .

s使用L2范数和dropout

推荐

在推荐的时候，根据分数y进行排序。