FiLM: Frequency improved Legendre Memory Model for Long-term Time Series Forecasting

本文提出了一种名为频率改进的Legendre记忆模型（FiLM）用于长期时间序列预测。该模型通过Legendre多项式投影和傅里叶分析相结合的方法，有效提取历史信息并减少噪声影响，从而显著提高了预测准确性。实验结果表明，FiLM在多变量和单变量预测中分别将现有模型的性能提升了20.3%和22.6%。此外，该模型的表示模块可以作为通用插件，用于提升其他深度学习模型的长期预测性能。

Full Integration Learning Method: Enhanced Frequency Domain Legendre Memory Model in Long-term Time Series Forecasting

研究结果表明，基于深度学习的RNN和Transformer模型在时间序列的长期预测任务中展现出显著的性能提升。这是因为这些模型能够有效利用历史信息。然而，我们发现，在神经网络中有效保存历史信息并避免对历史噪声进行过拟合仍存在较大的提升空间。为此，我们提出了一种改进型勒让德频率记忆网络模型（FiLM）。该模型通过勒让德多项式进行历史信息的投影逼近，并采用傅里叶投影方法去除历史噪声，同时引入低秩近似技术以加速计算速度。实验研究表明，FiLM在多变量和单变量时间序列的长期预测任务中较现有方法分别提升了20.3%和22.6%的预测精度。此外，我们还验证了该模型中的表示模块可以作为一个通用插件，显著提升了其他深度学习模型的长期预测性能。

为了实现这一目标的第一步，我们直接采用Legendre投影。研究者提出了基于该投影的动态更新方法，用于表示固定大小向量的时间序列。

其次，本研究旨在减少噪声对Legendre投影的影响程度，开发了一种基于傅里叶分析与低秩矩阵逼近的降维方案。

然后，将傅里叶分析与低秩近似进行融合，以保留与低频傅里叶分量相关的特征表达。通过保留顶层特征空间，可以有效去除噪声的影响。

因此，不仅能够捕捉时间序列的长期依赖关系，而且能够有效降低长期预测过程中的噪声干扰。本文将所提出的方法命名为频率改进的Legendre记忆模型（Frequency improved Legendre Memory model，简称FiLM），并将其应用于长时序列预测任务。

In short, we summarize the key contributions of this work as follows:

本文开发了一种基于混合专家的频率改进Legendre记忆模型的改进结构，用于实现多尺度时间序列特征的鲁棒提取。

本文重构Legendre投影单元(LPU)，使其成为一种通用的数据表示框架。该框架能够有效解决历史信息保留问题，适用于任何时间序列预测模型。

本文提出了一种名为FEL的频率增强层，通过将傅里叶分析与低秩矩阵近似相结合的方式，有效降低了数据维度。该方法不仅以最大限度减少时间序列中噪声信号的影响，同时还能有效缓解过拟合问题。通过理论分析和实验验证，该方法的有效性得到了充分证明。

在能源、交通、经济、天气和疾病等6个基准数据集上，进行了广泛的实验研究。实证研究表明，所提出的模型分别在多变量和单变量预测任务中，将当前最先进方法的性能提升了19.2%和26.1%。此外，我们的实证研究也揭示了通过降维技术，计算效率的显著提高。

2 Time Series Representation in Legendre-Fourier Domain

2.1 Legendre Projection

给定一个输入序列，该问题旨在逼近每个时间点t的历史累积。通过Legendre多项式投影，我们可以将一个延展的数据序列投影至一个维数受限的子空间，从而实现历史数据的压缩或特征提取。

Model Structure

该论文包含三个模块，通过多项式模型对历史信息进行近似表示，通过FFT去除噪声数据，利用低秩矩阵近似技术来提高计算效率。最后将这三个模块进行整合。