Learning the Evolutionary and Multi-scale Graph Structure for Multivariate Time Series Forecasting

将时间序列的相互作用描述为一个图结构，变量表示为图节点，近年来的研究显示了将图神经网络应用于多元时间序列预测的巨大前景。沿着这条线，现有的方法通常假设决定图神经网络聚合方式的图结构(或邻接矩阵)是通过定义或自学习固定的。然而，变量之间的相互作用在现实世界中可以是动态的和进化的。此外，时间序列在不同的时间尺度上的相互作用也有很大的不同。为了使图神经网络具有灵活实用的图结构，本文研究了如何对时间序列的演化和多尺度相互作用进行建模。特别地，我们首先提供了一个分层的图结构配合扩张卷积来捕捉时间序列之间的尺度相关 。然后，以循环的方式构造一系列邻接矩阵来表示每一层的演化相关性。同时，给出了一个统一的神经网络对上述组件进行集成，得到最终的预测结果 。通过这种方式，我们可以同时捕获成对相关性和时间依赖性。最后，在单步和多步预测任务上的实验证明了我们的方法比最先进的方法的优越性。

阅读者总结：这篇论文是典型的图神经网络在多元时间序列预测上的应用，主要考察了两个方面1）变量之间的依赖关系是随着时间发生变化 2）不同时间粒度上的依赖关系也会发生变化。这就意味着需要学习图的结构是很关键的点，同时随着时间变化，演化图的卷积的结构也会变化。

总之：这篇论文是演化图神经网络的应用，与之前KDD2020上的静态图结构，以及在ICDE2021上的图卷积神经网络识别不同时间粒度主题类似

如何设计合适的图结构对时间序列之间的相关性进行建模逐渐成为解决这一问题的关键。1) The graph structure is evolving over time. 2) The graph structure varies on different observation scales. 短期变量之间的相关性可能与长期变量之间的相关性不同。不同尺度的时间序列之间的相关性很少被考虑，固定的邻接矩阵显然也无法处理。

当我们提出进一步解决上述两个问题时，面临三个挑战:1)演进的图结构不仅受当前输入的影响，而且与前一个时间步的自身具有很强的相关性。2)通过现有的自学习方法生成每个时间步的图结构来建模演化会带来过多的参数，导致模型收敛困难。3)捕捉节点间特定尺度的图结构是一项艰巨的工作，因为其背后包含大量的信息和混乱的关系

方法：

一种名为进化多尺度图神经网络(ESG)的框架。具体来说，提出了一种分层架构，与扩张的卷积模块配合，同时捕获特定尺度的时间序列间和内相关性。其次，对每个尺度构建一系列邻接矩阵来建模门控循环单元的演化相关性，而不是始终保持一个固定的图结构。最后，通过融合多尺度表示的统一预测模型进行最终预测。

3.2 Learning Evolving Graph Structure

在实际应用场景中，多元时间序列之间的相关性并非总是一成不变的。然而，由于复杂的依赖关系和高计算成本，动态相关性很少被考虑。本文设计了一种进化图结构学习器(EGL)来提取变量之间的动态相关性来解决这个问题。

3.4 Evolving Graph Convolution Module

变量之间的依赖关系不仅会随着时间的推移而变化，而且会在不同的时间尺度上发生变化，固定的邻接矩阵很难描述这种相关性。此外，不同时间尺度下的图结构演化模式也不尽相同。为了解决上述问题，本文利用特定尺度的演化图结构学习器来发现特定尺度下变量之间的相关性。

4 EXPERIMENTS

4.5 Study of Evolving Graph Structure

为了进一步验证演化图结构学习器的有效性，选择了2016年4月8日𝑡ℎ上编号为77、141、166和217的四个站点进行了实际案例研究。