DCRec：Debiased Contrastive Learning for Sequential Recommendation
Debiased Contrastive Learning for Sequential Recommendation
ACM-Yuhao Yang，Chao Huang，Lianghao Xia，Chunzhen Huang，Da Luo，Kangyi Lin-2023
摘要
目前的顺序推荐系统被提出来解决动态用户偏好学习的各种神经技术，如Transformer和图神经网络（GNNs）。然而，从高度稀疏的用户行为数据的推断可能阻碍顺序模式编码的表示能力。为了解决标签短缺问题，最近提出了对比学习（CL）方法以两种方式执行数据增强：（i）随机破坏序列数据（例如，随机掩蔽、重新排序）;（ii）跨预定义的对比视图对齐表示。
在解决流行的偏见和用户的一致性和真实的兴趣时，CL为基础的方法有局限性。
本文模型：统一的顺序模式编码与全局协作关系建模，通过自适应一致性感知增强。我们的去偏对比学习框架有效地捕捉了序列内项目转换的模式和序列中用户之间的依赖关系。
介绍
使用RNN或基于注意力的模型来捕获用户随时间推移而变化的兴趣，严重依赖于足够的交互数据和语义丰富的序列，使得它们不足以解决推荐中的稀疏性，短序列和噪声等问题。
我们认为，各种研究领域的现有方法还没有充分解决数据增强中固有的流行性偏差。
在一些模型中，会由于对数据的认知不正确，导致错误的数据增强，从而误导用户偏好学习。我们通过对三个模型（DCRec, DuoRec, CL4SRec）的分析得知，有效地捕获用户意图的兴趣和一致性组件并以分离的方式对其进行建模，对于增强序列推荐的性能以对抗数据增强中普遍存在的流行偏见至关重要。
本文提出了一个用于顺序推荐的无偏对比学习框架DCRec ，以解决上述局限性。
DCRec使用基于三个语义通道的多通道一致性加权网络将用户一致性从嘈杂的项目交互中解脱出来。这种新方法的目的是解决在推荐系统中的对比学习范式的偏见的问题。
方法
目标： 开发一个个性化的排名功能，预测用户最有可能采用的下一个项目。
顺序模式编码： Transformer是编码序列的主要方法，能够将不同类型的序列数据的时间顺序标记映射到潜在表示空间。
首先通过
将位置嵌入p添加到初始项表示v中，用作Transformer的第一个块的输入项嵌入h0。
用一个嵌入矩阵H0来表示每个用户的嵌入聚准，其维度是T*d，T是序列长度，d是项嵌入的维度。这个矩阵对应于用户的填充项序列su=(v1,v1,…,vT)。为了捕捉项目之间的相关性，将具有多头（N）通道的自注意力层应用于用户的项嵌入矩阵：
为了将非线性加入到嵌入生成中，将逐点前馈网络FFN用于顺序模式编码器内的表示变换，定义为：
统一顺序视图和CF视图： 为了解决短序列很难为神经序列编码器提供足够的上下文信号的挑战，很少的项目在顺序的排序器，建议统一顺序视图的项目过度和用户－项交互的协作视图。
该设计的目的是捕捉隐含的跨序列用户依赖，允许用户的知识转移用在顺序推荐系统。
为了实现统一项转换的顺序视图和用户-项交互的协作视图的目标，可以从生成两个图开始：项转换图Gt和项协同交互图Gc 。
1.项转换图Gt：给定所有用户的项目序列，用邻接矩阵AGt表示图中项目的相关性：
2.项协同交互图Gc：首先构造了相互作用矩阵R（U* V），通过运算R.T*R得到项协同交互图Gc。此图中得到的是基于相互作用频率得到的项目之间的相关强度 。
为了过滤掉弱相关的项目连接，我们根据top-k的交互频率应用top-k(·)函数来保证图中项目之间的高度相关。所以，这里的k决定了图的密度 。
在生成项目转移图和协同交互图后，利用图神经网络将单个项目投影到潜在嵌入空间中。将图卷积的消息传递定义为：
自适应跨视角对比学习： DCRec方法通过跨不同项目语义视图的对比学习来利用自监督信号。
如果在生成增强信号时用户兴趣和一致性没有被解开，则对比学习方法可能会集中在不正确的正对上，从而引入有偏见的信息。
提出了一种去偏见的跨视图对比学习方法，具有自适应增强功能，并结合了交互级别的一致性。开发了一个 多通道整合加权网络（CWNet） 来计算一个相互作用的整合度。通过将估计的一致度纳入我们的对比学习范式，我们可以自适应地确定正则化强度。这使得该模型能够更有效地将用户兴趣与从众行为分开。
CWNet模块中，目标是从三个语义通道学习用户和项目之间的交互符合度。 三个语义通道分别是：特定用户一致性影响、与其他用户的一致性、子图同构性质。
1.为了得到用户的一致度，我们通过移除项目转移图Gt的边来扰动项目转移图Gt，从项目转移图G中移除由项目序列su生成的边。
2.给定项目，我们使用序列内相邻项之间的均值池来聚合序列内相邻项信息。
混合来自不同通道的信号得到交互层的一致度。再对这些w值进行转换，转换方式如下：
为了近似符合正态分布的一致度，我们在所有相互作用的导出一致度结果上采用KL发散：
一致性感知对比增强：为了通过自适应去偏增强来增强我们的DCRec，我们将一致性因子集成到我们的嵌入对比范例中，以确定一致性正则化强度。顺序视图和协作视图都是通过不同的编码器生成的，即，Transformer和GNN。
DCRec采用对比学习（CL）从两个关键维度学习一致性感知增强表示：
1.第一阶段旨在实现不同用户之间的知识转移。通过将用户特定偏好与跨用户全局交互模式进行对比，学习的增强表示可以自然地保留用户隐含的依赖关系。在这个过程中，一致性正则化减弱了SSL增强的流行性偏见所造成的扰动的影响。
2.们的第二阶段CL的目标是通过对比全局项嵌入x与项语义表示z来提取自我监督信号。我们的一致性因子，通过估计均匀性被纳入这个对比过程。
模型训练与预测：
在训练阶段，将每个序列的最后一个交互项作为模型优化的标签。在预测阶段，为了鼓励序列视图和协作视图之间的合作，我们将联合视图特定的项目嵌入到一个具有可学习注意力权重的聚合表示中：
预测部分采用最后一项的隐藏状态：
对于每个用户和地面真值项对，我们使用交叉熵作为损失：