20-Modelling of Bi-Directional Spatio-Temporal Dependence & Users’ Preferences for Missing Check-in
[15] Xi, D., Zhuang, F., Liu, Y., Gu, J., Xiong, H., & He, Q. (2019). Modelling of Bi-Directional Spatio-Temporal Dependence and Users’ Dynamic Preferences for Missing POI Check-In Identification. Proceedings of the AAAI Conference on Artificial Intelligence, 33, 5458–5465. doi:10.1609/aaai.v33i01.33015458.
文章目录
-
-
Abstract -
1. Introduction -
3 方法 -
问题陈述A. 双向时空依赖B. 用户的动态偏好C. 最终的Bi-STDDP模型
-
4. 实验 -
A. 数据集B. BaselinesC. metricsD. 比较
-
5. 结论
-
Abstract
Human mobility data accumulated from Point-of-Interest (POI) check-ins provides great opportunity for user behavior understanding. However, data quality issues (e.g., geolocation information missing, unreal check-ins, data sparsity) in real-life mobility data limit the effectiveness of existing POIoriented studies, e.g., POI recommendation and location prediction, when applied to real applications. To this end, in this paper, we develop a model, named Bi-STDDP , which can integrate bi-directional spatio-temporal dependence and users’ dynamic preferences, to identify the missing POI check-in where a user has visited at a specific time. Specifically, we first utilize bi-directional global spatial and local temporal information of POIs to capture the complex dependence relationships. Then, target temporal pattern in combination with user and POI informationare fed into a multi-layer network to capture users’ dynamic preferences. Moreover, the dynamic preferences are transformed into the same space as the dependence relationships to form the final model. Finally, the proposed model is evaluated on three large-scale real-world datasets and the results demonstrate significant improvements of our model compared with state-of-the-art methods. Also, it is worth noting that the proposed model can be naturally extended to address POI recommendation and location prediction tasks with competitive performances.
现实生活中的移动数据中的数据质量问题(例如，地理位置信息缺失、不真实签到、数据稀疏)限制了现有面向POI的研究(例如，POI推荐和位置预测)在应用于实际应用时的有效性。
基于此，我们建立了一个结合双向时空依赖和用户动态偏好的模型Bi-STDDP，来识别用户在特定时间访问的缺失的POI签到。
具体思路 ：1.首先利用POIs的双向全局空间和局部时间信息来捕获复杂的依赖关系。2.结合用户和POI信息，将目标时间模式输入到一个多层网络中，捕获用户的动态偏好。3.将动态偏好转化为与依赖关系相同的空间，形成最终模型。
最后，在三个大规模的真实世界的数据集上评估了所提出的模型，结果表明与最先进的方法相比，我们的模型有显著的改进。此外，值得注意的是，所提出的模型可以自然地扩展到具有竞争性能的POI推荐和位置预测任务 。
个人小结：
任务：识别用户在给定时间访问的缺失的POI签到
思路：融合双向时空依赖和用户动态偏好
1. Introduction
识别丢失的POI签到的重要性：
- 首先，在原始的实际签到过程中经常会出现地理位置信息缺失，这会给用户的理解带来麻烦。
- 其次，在真实的原始签到数据中有许多明显的不真实签到。例如，同一个用户的两个签到记录在地理距离上相差很远，但时间间隔很短。不真实的数据可能是由于设备故障或用户作弊而记录的。缺失的POI签到标识可以给出一个参考列表，并对数据进行初步过滤。
- 第三，缺失的POI签到标识可以缓解用户理解的数据稀疏性问题。
以往研究工作中存在的问题 ：1.没有模拟全局空间信息和时空依赖；2.从单一方向的角度利用过去的签到信息来预测或推荐未来
我们的模型：双向时空依赖和用户动态偏好(Bi-directional Spatial and Temporal Dependence and users’Dynamic Preferences, Bi-STDDP) —— 识别缺失的POI签到
1. 利用给定时间前后的签到信息识别缺失POI签到 —— 双向
2. 融合了局部时间信息和全局空间信息，很好地建模了局部和全局上下文关系 —— 建模时空依赖
3. 目标时间模式结合用户和POI信息可以捕获用户的动态偏好 —— 建模用户动态偏好
4. 双向时空依赖+用户动态偏好→ 最终模型Bi-STDDP
3 方法
问题陈述
设U = \{u_1, u_2，…， u_N\}是N个用户的集合，P = \{p_1, p_2，…， p_M\}是M个POIs的集合。每个POI p与它的坐标\{x_p, y_p\}相关联，每个用户u与签到列表C^u= \{p^u_{t_1}, p^u_{t_2}，…， p^u_{t_T}\}相关联，其中p^u_{t_i}表示用户u在时间t_i访问POI p。
假设用户u的第t个签到p^u_{t_t}缺失了，任务就是根据t_t之前的正向序列 \{p^ u_{t_1}, p^u_{t_2}，…， p^u_{t_{t-1}}\}，以及t_t之后的反向序列 \{p^u_{t_{t+1}}, p^u_{ t_{t+2}}，…, p^u_{t_T}\}来确定用户 u在特定时间t_t访问了哪个POI。
A. 双向时空依赖
时空信息具有非常复杂的依赖关系，这里我们首先分别介绍这两种信息:全局空间信息 和局部时间信息 。\color {red} {全局空间信息}意味着我们考虑目标POI和所有其他POI之间的关系。而用户u的缺失签入p^u_{t_t}与用户u在时间t_t前后的短时间间隔内访问的POIs更相关，因此只考虑\color {red} {本地时间信息}。
a). 全局空间信息的提取
对于POI签到p^u_{t_{t-1}}和p^u_{t_{t+1}}，我们定义POI签到p^u_{t_{t-1}}和p^u_{t_{t+1}}的全局空间向量如下:
其中\sigma为标准差，D∈\mathbb R^{M×M}为所有候选POI的地理距离矩阵，包含全局空间信息，D_{p^u_{t_{t-1}}}为 p^u_{t_{t-1}}与所有候选POI之间的地理距离向量(D_{p^u_{t_{t-1}}}∈\mathbb R^M)。地理距离矢量可以通过除以标准差进行归一化。
b).局部时间信息
同时考虑到目标时间t_t的局部时间间隔为:
i_{t−1} = t_t − t_{t−1}, (3)
i_{t+1} = t_{t+1} − t_t. (4)
c). 将局部时间间隔转化到和全局空间向量相同的空间\mathbb R^M：
i_{t-1} = f(w_{t-1}i_{t-1}), (5)
i_{t+1} = f(w_{t+1}i_{t+1}), (6)
这里w_{t-1},w_{t+1} ∈ \mathbb R^M, 激活函数f(x)选择tanh.
d). 获得最终的双向全局空间和局部时间依赖嵌入：
d_{t-1} = s_{t-1} \bigodot i_{t-1}, (7)
d_{t+1} = s_{t+1} \bigodot i_{t+1}, (8)
依赖关系是由按元素乘运算\bigodot建模的，并且可以通过对整个模型进行梯度下降来自动学习。
B. 用户的动态偏好
用户的签到偏好与时间和划分尺度有关。我们的模型以两个尺度捕捉特定的时间模式:一天的小时数和一周的不同天数。我们把一周分为工作日和周末，把一天分为以下五个时段:上午[8:00,11:30)，中午[11:30,14:00)，下午[14:00,17:30)，晚上[17:30,22:00)和其余的一个时段。因此，通过将相应的位设为1，其余位设为0，将目标时间t_t编码为一个7维的模式向量v_t。例如，目标时间周六上午11:30可以被编码成v_t = [0\ 1\ 0\ 1\ 0\ 0\ 0]^T。
(1) 捕获用户和POI信息
利用嵌入层捕获用户和POI信息。嵌入层可以被视为执行POI流行度和用户偏好的潜在因素建模。它学习两个矩阵E_p和E_u，每一行分别代表一个POI和一个用户。如果我们用one-hot编码的POI p^u_{t_{t-k}}和p^u_{t_{t+k}}∈\mathbb R^M和用户u∈\mathbb R^N作为输入向量，则嵌入层的输出可以表示为：
这里1 \leq k \leq w, w是窗口宽度， E_p \in \mathbb R^{M \times d}和E_u \in \mathbb R^{N \times d}表示POIs和users的嵌入矩阵，d是嵌入向量的维度。
(2) 获得用户动态偏好向量
利用前馈神经网络的多个隐藏层将用户偏好向量、POI流行度向量和目标时间模式向量转化到相同空间，然后将其相加来建模用户的动态偏好。
C. 最终的Bi-STDDP模型
a. 模型
我们在图1中给出了最终的BiSTDDP神经网络结构。双向签到序列、用户和目标时间输入到嵌入层，从隐藏层捕获用户的动态偏好。结合式(7)、式(8)、式(17)中的双向时空依赖性和用户动态偏好，可以得到Bi-STDDP的输出。用户u在t_t时刻所在位置的预测可计算为:o^u_t = softmax(d_{t-1} + d_{t+1} + W_cc^u_t), (18)
其中W_c \in \mathbb R^{M \times h}是将用户动态偏好转换到与依赖关系相同空间的参数。o^u_t是一种分布，表示用户u在t_t时刻可能访问的所有候选POIs的不同概率。k个最大概率对应的POI是缺失POI签到的TOP-k个识别。
b. 模型的训练
我们需要最小化预测分布和实际分布的交叉熵 :
其中S为样本个数，M为POIs个数，KaTeX parse error: Expected 'EOF', got '}' at position 20: …\in \mathbb R^M}̲是样本x_i的one-hot标签，θ是一个参数集。
根据Adam (Kinga和Adam 2015)更新规则，通过随机梯度下降(SGD)对洗牌的小批量（mini-batch）进行训练。
4. 实验
A. 数据集
- NYC （from Foursquare，数据收集自New York City）
- TKY（from Foursquare，数据收集自Tokyo）
- Gowalla
B. Baselines
C. metrics
- Recall@K
- F1-score@K
- Mean Average Precision(MAP)
D. 比较
- 不同算法
- Bi-STDDP算法的不同部分（消融实验）
- 不同参数设置
5. 结论
在本文中，我们将重点放在缺失的POI签到识别任务 上，以识别用户在过去特定时间访问过的地方，这与现有的面向POI的任务不同，后者用于推荐或预测用户未来可能访问的POI。为了解决这一问题，我们提出了一种新的神经网络模型，称为Bi-STDDP 。具体来说，在我们的模型中，双向的全局空间和局部时间信息结合在一起，以捕获复杂的依赖关系 。同时，将目标时间模式与用户和POI信息相结合，以捕获用户的动态偏好 。最后，在三个大规模真实世界数据集上的广泛实验结果表明，与各种最先进的方法相比，我们所提出的模型有实质性的性能改进。