论文阅读——MCN4Rec Multi-level Collaborative Neural Network for Next Location Recommendation

MCN4Rec: 多层协同神经网络在下一步位置推荐中的应用

MCN4Rec：用于下一个位置推荐的多级协作神经网络

概要

在基于位置的服务生态系统中扮演着关键角色，在提升用户体验方面具有重要价值。现有位置服务系统通常采用固定的时间间隔来建模时间依赖性特征，并从包含丰富上下文信息的定制兴趣点（POI）图中提取表示来捕捉POI间的复杂关系模式。然而，在实际应用中需要综合考虑的因素包括但不限于用户的偏好特征、空间位置信息、时空语义特征以及活动类别标签等多维度因素之间的相互作用关系；然而目前研究领域仍存在对协同交互信号的关注不足的问题。为此我们提出了一种创新性的多级协作神经网络模型（MCN4Rec）来解决这一复杂问题。该模型通过多层次对比学习机制构建多级视图表示模型；通过多层次对比学习机制构建多级视图表示模型；通过多层次对比学习机制构建多级视图表示模型；通过多层次对比学习机制构建多级视图表示模型；通过多层次对比学习机制构建多级视图表示模型；通过多层次对比学习机制构建多级视图表示模型；通过多层次对比学习机制构建多级视图表示模型；通过多层次对比学习机制构建多级视图表示模型；通过多层次对比学习机制构建多级视图表示模型；通过多层次对比学习机制构建多级视图表示模型

1 INTRODUCTION

随着位置感知型社交网络的兴起

We introduce a multi-layered collaborative neural network designed for spatial-temporal recommendation, referred to as MCN4Rec.

作者提出了一种用于下一个位置推荐的多级协作神经网络，称为 MCN4Rec。

为了缓解冷启动问题,该模型通过构建整体历史轨迹来进行建模,并融合了多级表示学习组件.为了捕捉复杂的异构关系,该系统包含了一个多级视图组件,从多个角度对签到数据进行建模.同时,该系统还引入了一个逐级对比表示机制,以促进统一语义空间的学习;并采用了一种类别感知的时间嵌入方式,将POI类别信息整合到时间编码中.随后,签到序列特征被输入到因果编码器中进行序列模式分析;此外,位置偏好预测受到多个解码器的协同作用约束

贡献：

• 开发出一种新型多级协作神经网络模型 MCN4Rec 以应对位置推荐中的数据稀疏、冷启动及复杂相关学习挑战。
  该框架通过巧妙设计三个核心组件实现了签到数据的有效表示提取。
  对四个真实-world出行签到数据集进行了系统性测试。
  结果显示该模型在 Acc@1 和 MRR 指标上显著优于现有基准方法，
  分别提升了约11.70%和8.28%的性能表现。

2 RELATED WORK

2.1 Next Location Recommendation

先概述了基于序列模型的下一个位置推荐算法，并列举了Markov chains作为具体实例。这些算法难以建模高价序列模型，因为它们主要学习连续签到之间的转换规则。

此外

最后部分详细阐述了对比学习的相关技术，并探讨了如何将自监督信号与对比学习表示视图之间的对齐结合起来以实现数据增强效果（如NCL）。本文的工作则提出了一个创新性的新框架——多级对比表示学习模型，在通过对比学习建立起不同视图间的潜在语义关联后，则进一步提升了稀疏数据环境下位置推荐系统的性能水平。

2.2 Multi Factors of LBSN for Recommendation

基于位置的社交网络（LBSN）是一项具有挑战性的任务,因为其处理的数据间存在复杂的异构关系.最近的研究表明,基于图模型因其强大的复杂异构关系建模能力而备受关注,并已取得显著成效.其中,SGRec、DRAN、GETNext等模型取得了较好的效果.此外,还有研究利用知识图谱来捕捉异构关系,如STGCAN和Graph-Flashback.然而,在现有研究中存在一些不足之处:这些方法通常忽略了LBSN中某些关键因素,并未充分强调多个因素之间的协作.

在我们的工作中,我们采用综合性策略,通过搭建多层次协作式神经网络架构来综合考量各类潜在影响要素.该模型的目标在于识别各要素间的协同作用机制,从而使其在LBSN推荐领域中成为首个探索这一挑战的方案.

3 PROBLEM DEFINITION

给出了相关定义和公式。

4 METHODOLOGY

MCN4Rec由四个主要组件组成：多层级视图表示学习、层次式的对比表示学习、类别意识的时间表示以及序列建模模块。

4.1 Multi-level View Representation Learning

深入阐述了基于多级视角的学习机制。针对用户、兴趣点（POI）和活动类别提出了表示模型。这个过程涉及以下几个关键步骤：

User-POI-Category Knowledge Graph（UPC-KG） ：

• 该研究者首次提出了一种命名为用户–位置–类别知识图谱（UPC-KG）的新型异构知识图谱结构。

• 该知识图谱在节点部分整合了用户集合、位置集合与类别集合的并集；在边部分采用了不同类型的连接方式；而三元组则用于描述各类实体间的关联关系。

• UPC-KG作为一个异构图，在节点部分整合了用户集合、位置集合与类别集合的并集；在边部分采用了不同类型的连接方式；而三元组则用于描述各类实体间的关联关系。

• 研究者通过构建四种类型的关系边分别对应于：①基于用户的互动行为建模；②基于位置的功能定位；③基于语义的知识关联；④基于空间的距离考量。

关系路径感知聚合（Relational Path-aware Aggregation） ：

• 旨在捕捉用户与POI交互所蕴含的多重语义关联性，在研究团队的努力下完成了一种基于关系路径感知的聚合机制[1]。
• 该机制通过多层聚合UPC-KG平台中的用户、POI及类别实体间的联系，在全局视角下整合了UPC-KG中的关系路径信息到实体表示之中。
• 通过这一方式方法论得以有效反映用户的活动意图，在处理过程中充分保证了关联性的稳定性与一致性。
• 关于公式的详细说明，请参阅论文中的相关内容。论文对这部分内容进行了详尽而易于理解的阐述。

[1] Xiang Wang et al., "Learning intents behind interactions with knowledge graph for recommendation," In Proceedings of the Web Conference, 2021: 878–887.

局部视角图表示学习 ：

• 致力于增强用户与点-of-interest（POIs）之间以及点-of-interest与类别之间的重要关系。

• 通过从知识库（UPC-KG）中提取出两个关键的局部视角子图：一个是用户与点-of-interest的关系视图（User-POIs Relation Graph），另一个是基于点-of-interest与类别的关联关系视图（Category-POIs Relation Graph）。

• 其中，在语义活动层面主要体现的是用户的地理位置偏好以及与其他点-of-interest之间的协作互动。

• 此外，在语义活动层面主要体现的是用户的地理位置偏好以及与其他点-of-interest之间的协作互动。

• 作者进一步应用基于GCN的方法，在这两个子图上提取用户的嵌入表示、点-of-interest的嵌入表示以及各类别节点的嵌入表示。

POI-POI语义图的构建 ：

• 旨在增强各实体间语义关联性的研究者们，在局部视角图的基础上提取特征并构建了新的实体关联模型。
• 计算每对实体间的余弦相似度后，并通过kNN方法进行稀疏化处理以获取有效的关联信息。
• 最后将该信息输入深度学习模型用于节点表示更新工作。

在这些步骤中，在线MCN4Rec系统能够从多维度进行分析与建模，在线学习到丰富且具有代表性的行为特征。所提取出的行为特征既包含复杂性又涵盖多层次的人际互动模式，在这种情况下为后续的任务构建了理论基础。

4.2 Level-wise Contrastive Representation Learning

阐述了利用MCN4Rec模型中的方法进行级联对比表示学习以进一步提高用户行为（user behavior）、地点-名称（POI）以及活动类型（activity type）的质量。本节将围绕以下几个核心内容展开讨论：

对比学习的目标 ：

对比学习的主要目标是以最大化不同视角下的表示统一性的方式提升表示质量。从而使得模型能够更加有效地提取并整合数据中的深层关联与结构特征。

局部级对比学习（Local-level Contrastive Learning） ：

在层次级别的对比学习框架中，在作者提出的对比学习方法中，在同一节点的不同局部子空间中进行特征提取时，在这种情况下，在这种设定下，在这种场景下，
该模型借鉴了InfoNCE架构的基本原理，并基于最大化的视角实现了对该网络进行优化设计，
通过这种方法构建了一个新的多模态特征提取框架，
从而促使模型在多个子空间间寻求共同表征，
进而增强了各节点间的协同信息与关联性。

全局级对比学习（Global-level Contrastive Learning） ：

• 全局级别的对比学习致力于更全面地整合全局视角与局部视角的表现形式。通过这种机制, 模型不仅能够掌握单个区域的特征表达方式, 并且能够协调不同区域之间的特征关联关系。

• 通过这种方式, 模型不仅学习了局部区域的具体特征表达, 还能有效地协调不同区域间的特征对应关系。

• 这种方法有助于模型在整体框架下捕捉更为复杂的语义联系, 同时也能更加灵活地利用各子领域内的关键信息。

注意力机制的表示融合（Attention-based Representation Fusion） ：

• 作者利用注意力机制整合局部与全局维度中的表示。借助这一机制, 模型能够赋予不同权重系数, 从而生成综合性的、更具信息量的表示。

• 注意力权重由非线性变换（如tanh）以及共享注意力向量共同确定, 经过归一化处理后确定下来。

损失函数 ：

为实现这一目标, 作者提出了两类对比学习的目标函数: 局部级对比目标函数与全局级对比目标函数. 这些目标函数被用来指导模型在学习阶段优化其表示形式, 以确保它们能够在不同视角中保持一致性.

文中有很详细的公式介绍和方法介绍感兴趣的可以去看一下~

基于层级对比表达的学习机制下，在线成对对比学习方法被引入到MCN4Rec模型中。该模型基于多维度特征提取技术实现了对数据多样性的深度刻画，并通过构建层次化特征表征网络框架，在不同维度之间实现了信息的有效融合与互补优化。从而显著提升了该模型在后续位置推荐任务中的预测效能，在面对复杂多维的用户行为数据时能够展现出更强的数据分析能力

4.3 Category-aware Temporal Representation

阐述了在MCN4Rec模型中如何融合时间信息与活动类别信息以提升时间表示能力。主要涵盖以下几个核心方面：

时间分割 ：

作者首先指出, 他将其划分为24个时间段, 每个时间段持续60分钟, 并随后将每个具体的时间点映射到相应的时间段中.

时间表示学习 ：

• 考虑到数据的时间周期特性特征提取问题，在本研究中作者运用了time2vec方法对时间进行编码。

• 该方法利用了基于正弦函数设计的周期性激活函数以及可训练参数来精确表征每个时间段特征。

• 通过多层感知机模型被用来生成一系列的时间嵌入表示。

• 这些嵌入构成了完整的时序表示方案。

活动类别融合 ：

• 作者借助于一层密集连接的神经网络结构来融合时间嵌入与相应的活动类别嵌入。从而使得每个签到记录的时间表征自然地携带了活动类别相关的语义信息。

• 活动类别嵌入由带有泄露率的ReLU激活函数计算得出。这种激活机制有助于引入非线性特征。

签到记录表示 ：

• 一个签到记录由用户的表示、POI的表示以及时间类别的嵌入三部分构成。
  • 通过拼接操作将这些表示结合在一起。
    这样，每个签到记录都被表示为一个包含用户、POI和时间类别信息的向量。

基于该分类感知的时间编码机制下设计的MCN4Rec模型能够在精准提取并有效利用时间周期性特征与活动类别分布方面展现出显著优势。这一特性对于提升推荐系统的时空认知能力具有重要意义。具体而言在早晨高峰时段人们的兴趣集中于交通设施；中午时分则转向餐饮场所；到了晚上则偏爱娱乐场所。综合考虑以上因素该模型不仅能够全面把握用户的时空行为规律而且能为推荐系统的优化提供有力支持从而使得对用户下一步行为的预测更加精确

4.4 Sequence Modeling Module

通过 Transformer 编码签到序列，并利用三个不同的多层前馈网络模块来进行解码。该方法分别对时间、位置点（POI）以及类别进行预测。值得注意的是，在此方案中不仅考虑了位置点（POI）的预测任务，还同时对时间和类别进行了预测。

Transformer编码器：

• 该模型采用了多个Transformer编码器层。
• 每一层由带有因果掩码的多头自注意力模块以及逐位置前馈网络（FFN）组成。
• 该模块阻止模型在序列建模时捕获预测位置后的信息。
• 该前馈网络会逐个处理每个位置的表示，并生成一个序列输出。

2. 解码过程 ：

• 不仅仅局限于预测下一个目标地点（POI），研究者还考虑到未来可能的签到时间和用户的签到类别偏好。这一设定基于以下事实：不同时间段内用户对于不同类型的目标地点（POI）表现出不同的兴趣倾向，并且时间特性可作为时空建模的关键基准点之一。
• 为了实现这一目标研究者采用了三层多层感知机（MLP）架构分别用于时空特性、类别归属以及目标地点（POI）的识别与建模。

3. 模型学习 ：

• 每个序列建模模块中的MLP解码器都配置了相应的目标函数，在具体实现中交叉熵目标函数被应用于位置识别（POI）以及分类任务中，并采用均方误差（MSE）来计算时间预测相关的误差。
• 模型的总目标函数主要由各子模块对应的损失之和构成，并通过融合全局与局部对比学习的相关损失项来进一步优化性能。

该编码器基于Transformer架构能够识别并捕获序列数据中的长期依赖关系；解码器通过多层前馈网络架构利用这些学习到的表示来进行具体预测。

5 EXPERIMENT

Datasets: The following cities belong to Foursquare: New York City (NYC), Tokyo (TKY), Phoenix (PHO), and Singapore (SIN). Additionally, New York City is also present in Gowalla, while Weeplaces includes other notable locations.

Baselines: MF、FPMC、STRNN、DeepMove、STGN、TALE、GeoSAN、STAN、Flashback、AutoMTN、GETNext、CFPRec

**Evaluation Metrics： ** Accuracy@K (Acc@K) and Mean Reciprocal Rank (MRR)

Overall Performance：

未对实验过程进行深入展开。在论文中对消融实验以及超参数调优的研究均进行了较为详尽的探讨；此外还进一步探究了模型在 cold start 问题上的有效性，并对相关的消融实验进行了深入分析；同时对时间与空间复杂度进行了系统性的评估。