【论文导读】（十一）—— Disentangling User Interest and Conformity for Recommendation with Causal Embedding
这篇论文提出了一种名为DICE的框架，用于分离用户兴趣和从众性以提高推荐系统的鲁棒性和可解释性。作者通过构建因果图和兴趣与从众性的嵌入模型，将用户点击数据中的兴趣和从众性因素解耦。实验结果表明，DICE框架在非独立同分布（non-IID）数据集上显著优于现有方法，特别是在处理流行度偏差方面表现突出。该框架通过多任务学习和课程学习优化模型，最终在推荐系统中展示了良好的性能和应用潜力。
- 作者信息：该研究团队由Yu Zheng、Chen Gao、Xiang Li、Xiangnan He、Depeng Jin和Yong Li组成
- 论文来源：该论文发表于WWW’21会议
- 论文地址：该链接指向2006年6月11日发布在ArXiv上的论文
本文探讨的论文是《Separating User Preferences from Social Influence in Recommendation Systems with Causal Embedding Models》。
本文作者通过将用户的 interest 和 conformity 进行解耦，训练出各自的 embedding 向量，使得每个 embedding 只专注于各自的信息。通过基于因果推断的碰撞效应，获得特定原因的数据，该方法在真实数据集上表现出了显著的提升，验证了 DICE 推荐方法的鲁棒性和可解释性。
| 🍁 一、背景 🍁 |
|---|
近年来，推荐系统已经取得了显著的进展。然而，目前大多数推荐系统都是基于用户与商品的交互数据来挖掘用户的偏好，进而为用户提供个性化的内容。然而，这种做法也存在一个缺点，即当今很多推荐数据中存在流行度偏差，这种信息可能会扰乱用户的兴趣信息，从而影响用户的推荐结果。
比如，某单一物品的流行度显著较高，一般而言，某单一用户在看到其流行度显著较高的某单一物品时，可能会倾向于进行点击购买行为，这种现象并非源于用户的真正兴趣信息，而是由于从众心理的影响所导致。这些互动行为主要源于用户群体中从众心理的普遍表现，且不同用户对不同物品的从众程度存在显著差异。为了解决这一问题，需要将从众行为（即一致性）与用户的兴趣信息进行有效区分，从而消除因流行度带来的偏差，最终帮助我们更准确地捕捉到用户独立于从众性的纯兴趣。
为此，作者将用户点击数据的原因进行了分解，具体包括用户关注点（interest）和一致性特征（conformity），并结合因果推断构建了推荐模型。针对不同原因采用了不同的数据进行捕捉，构建了多任务学习机制和累计学习机制，从不同数据中进行学习。
| 🍁 二、模型方法 🍁 |
|---|
该研究者开发出一种基于因果嵌入的通用框架（DICE），该框架通过分离兴趣与一致性来实现信息提取。该框架能够提取兴趣和一致性信息，并通过不同的嵌入矩阵进行表示，其核心在于基于原始交互数据建模，从而实现对影响点击原因的解耦。
因果图：Causal Graph
在推荐任务领域，作者构建了一个因果图，该图由三个要素构成：用户兴趣、一致性偏差和点击行为。其中，用户兴趣和一致性偏差可以视为影响点击行为的因素，而点击行为则是这些因素共同作用的结果。在因果理论框架下，该因果图呈现出碰撞式结构，其显著特征在于：当以点击行为作为条件时，这两个影响因素之间呈现相关关系，而当不设定任何条件时，它们之间则呈现独立关系。基于这一特性，作者成功地将这两个因素从原始数据中进行了分离。
用户点击某个问题的行为，可以看作是两个因素共同作用的结果，其中一个是兴趣得分，另一个是（从众行为或一致性水平）得分。因此，我们可以用以下公式来表示：
S_{ui}=S_{ui}^{interest}+S_{ui}^{conformity}
其中，S_{ui}表示用户对物品的最终评分，而另外两个评分分别代表不同的影响因素对应的评分值，其中一个是基于用户真实兴趣的评分，另一个则是由于一致性的混淆而产生的评分。
对于该因果图的结构模型SCM可以表示为：
X_{ui}^{int}=f_1({u,i,N^{int}})
X_{ui}^{con}=f_2({u,i,N^{con}})
X_{ui}^{click}=f_3({X_{ui}^{int},X_{ui}^{con},N^{click}})
对于作者设计的分离设计可以看作：作者认为，其分离设计可视为：S_{UI}^{\text{int}} = \langle U^{\text{int}}, I^{\text{int}} \rangle，S_{UI}^{\text{con}} = \langle U^{\text{con}}, I^{\text{int}} \rangle，S_{UI}^{\text{click}} = S_{UI}^{\text{int}} + S_{UI}^{\text{con}}。
其中 u^{int}、i^{int}、u^{con} 和 i^{con} 分别对应于用户和物品各自不同影响因素的嵌入向量表示。
分离表示学习：
为了实现数据的分离，用户将数据分为两种情况，分别是case1和case2。在介绍这些符号之前，先来说明一下符号的含义。其中，M^I表示用户与物品之间的兴趣匹配矩阵，而M^C则代表用户与物品之间的流行度或一致性匹配矩阵。
case1：用户u选择了商品a，未选择商品b，其中，商品a的流行度高于商品b，可用如下不等式表示：
M_{ua}^C>M_{ub}^C
M_{ua}^I+M_{ua}^C>M_{ub}^I+M_{ub}^C
考虑到商品a的流行度高于商品b，由此可得不等式 M_{ua}^C>M_{ub}^C 成立。同样地，关于用户u的偏好程度，由于用户u更倾向于选择商品a而非商品b，因此可以推导出不等式 M_{ua}^I>M_{ub}^I。
case2：用户点击了商品a，而未点击商品b，同时，商品b的流行度高于商品a。可用以下不等式表示：
M_{ua}^I>M_{ub}^I
M_{ua}^C
M_{ua}^I+M_{ua}^C>M_{ub}^I+M_{ub}^C
根据以上两种情况，分别构建数据集O1和O2，它们分别代表上述两种情况。为此，作者采用了BPR模型这一算法，用于求解。该方法能够针对上述不等式进行建模，该方法源自论文《BPR: Bayesian Personalized Ranking from Implicit Feedback》。
Conformity Modeling：一致性建模
为了实现兴趣嵌入向量与一致性嵌入向量的解耦学习，作者构建了多个模块，具体包括：Conformity Modeling、Interest Modeling、Estimating Clicks、Discrepancy Task、Multi-task Curriculum Learning。
在一致性数据建模中，作者采用BPR方法处理上述不等式，从而获得BPR损失函数：
L_{conformity}^{O_1}表示在集合O_1中，所有(u,i,j)对的BPR损失总和。
L_{conformity}^{O_2}表示在集合O_2中，所有(u,i,j)对的负BPR损失总和。
L_{conformity}^{O_1+O_2}则表示将上述两个损失函数相加的结果。
Interest Modeling：兴趣建模
在兴趣数据建模的过程中，作者基于BPR方法对上述不等式进行处理，从而得到BPR的损失函数：
L_{interest}^{O_2}=\sum_{(u,i,j)\in O_2}BPR(
Estimating Clicks：点击估计
该损失可被视为推荐任务中的核心目标，主要优化方向，而这些则属于辅助优化。由此可得损失函数为：L_{click}^{O_1+O_2}=\sum_{(u,i,j)\in O}BPR(
其中 u_t=u^{int}||u^{con} 操作，|| 代表将兴趣和一致性embedding向量进行拼接。
Discrepancy Task：差异任务
除了基于特定原因的数据优化不同嵌入以实现利益与从众的分离的三项具体任务之外，我们还直接进行嵌入分布的监督以强化这种分离。
分离任务的核心目标是确保因果图中各特征相互独立，为此需要使两类特征高度不相关。
作者使用了如下损失：
-L1(E^{int},E^{con})
-L2(E^{int},E^{con})
dCor(E^{int},E^{con})
Multi-task Curriculum Learning：多任务累计学习
在所提出的框架中，我们利用多任务课程学习的方法成功克服了聚合兴趣和一致性的最后一点挑战。具体而言，通过将这四个任务的因果嵌入进行整合，我们成功地将这些损失函数数组结合起来。
L=L_{click}^{O_1+O_2}+\alpha(L_{interest}^{O_2}+L_{conformity}^{O_1+O_2})+\beta L_{discrepancy}
该损失函数的定义方法是结合多个任务，其中，点击行为被设为主任务，通过超参数调节各子任务对主任务的影响程度，然后，通过训练模型来优化整体损失函数。数学表达式为：J_{total} = \sum_{i=1}^N J_i。
| 🍁 三、实验结果 🍁 |
|---|
在Movielens - 10M数据集和Netflix数据集上的整体性能
在两个数据集上使用嵌入和使用标量的比较
| 🍁 四、总结 🍁 |
|---|
在本文中，作者开发了一个通用的框架，旨在分离用户兴趣与一致性，以提升因果嵌入的推荐效果。该框架通过提出一个简洁的可加性因果模型，并将其与因果图和SCM相结合，实现了对用户兴趣和一致性的有效区分。基于所提出的SCM框架，作者分别对兴趣和一致性采用了独立的嵌入表示，通过从用户交互中识别出具有特异性的因果关系，并分别训练对应的嵌入模型，从而实现兴趣与一致性的解耦。这两个维度通过多任务学习框架得以协调平衡，最终优化了推荐系统的性能。
基于简洁合理的因果模型框架，DICE算法在性能指标方面实现了显著提升，较现有最先进的算法取得了质的飞跃。实验结果表明，与现有方法相比，DICE在非独立同分布（non-IID）场景下的鲁棒性表现更为突出。通过解缠分析发现，用户兴趣与一致性在两个嵌入空间中呈现出高度独立性。所学习的嵌入不仅展现出高度的质量特性和良好的可解释性，而且为后续探索未知领域提供了新的研究方向。
