15篇开源论文，时间序列表示学习2024顶会方案汇总

时间序列表示学习 ，深度学习和机器学习领域的一个重要研究方向，是一种通过学习算法将时间序列数据转换为固定长度的向量表示的技术。

这种技术能够高效地从时间序列数据中提取关键信息，降低数据维度，同时捕捉时间依赖性，增强模型泛化能力，并支持多种下游任务。在实际应用（金融、医疗、工业等）中，可以显著提升多项时间序列任务的效果，如时间序列分类、预测以及异常检测问题等。

本文介绍了时间序列表示学习最新研究进展，主要包括神经架构、以学习为中心、以数据为中心 这3个创新方向，以及15篇相关顶会论文 ，全部都已开源，帮助大家全面掌握时间序列表示学习方法。

全部论文+开源代码需要的同学看文末

神经架构

ICML 24 Multi-Patch Prediction: Adapting LLMs for Time Series Representation Learning

方法： 本文提出了aLLM4TS框架，通过将大语言模型(LLMs)用于时间序列表示学习，利用自监督多补丁预测任务重构时间序列预测，采用两阶段训练策略(因果连续预训练和多补丁微调)，引入补丁解码机制，实现更有效的时间序列表示学习。

创新点：

提出了一种将时间序列预测重新构想为自监督多补丁预测任务的方法。

设计了一种创新的补丁级解码层，区别于传统的序列级解码方法。

为了进一步增强补丁优化过程，作者引入了位置感知注意力掩码。

ICLR 2024 CARD: Channel Aligned Robust Blend Transformer for Time Series Forecasting

方法： 论文提出了一种用于时间序列预测的新型Transformer模型，称为CARD，它通过独特的注意力机制和多尺度信息的利用，能够有效地捕捉时间序列中的复杂模式和依赖关系，从而生成有助于预测的高质量时间序列表示。

创新点：

设计了一种通道对齐注意力结构，使得模型能够同时捕捉信号间的时间相关性和多变量间的动态依赖。

提出了一种令牌融合模块，用于生成不同分辨率的令牌。

引入了一种新的损失函数，通过根据预测不确定性加权有限时间跨度内的预测，来缓解潜在的过拟合问题。

以学习为中心

ICML 2024 UP2ME: Univariate Pre-training to Multivariate Fine-tuning as a General-purpose Framework for Multivariate Time Series Analysis

方法： 论文提出了一种通用框架，用于多变量时间序列分析，通过自监督预训练和微调来学习时间序列的表示。UP2ME核心思想是通过单变量预训练来捕捉时间依赖性，然后在多变量微调阶段进一步整合跨通道依赖性，以提高对下游任务（如预测、插补和异常检测）的处理能力。

创新点：

UP2ME提出了一种创新的单变量预训练到多变量微调的通用框架，专注于在预训练阶段捕获时间依赖性，并在微调阶段引入跨通道依赖性。

在单变量预训练中，UP2ME利用变量窗口长度和通道解耦来生成用于掩码自编码器（MAE）预训练的实例。

在多变量微调中，UP2ME通过预训练的编码器构建稀疏图来捕获跨通道依赖性。

以数据为中心

NeurIPS 2024 Peri-midFormer: Periodic Pyramid Transformer for Time Series Analysis

方法： 论文提出了Peri-midFormer，通过将时间序列分解为多个周期性成分，并构建一个周期金字塔结构来捕捉时间序列中的复杂周期性变化。这种方法利用自注意力机制来计算不同周期成分之间的依赖关系，从而提取时间序列的丰富表示，在多种时间序列分析任务中表现出色。

创新点：

提出了一种自上而下构建的周期金字塔结构，将一维时间序列变化扩展为二维，显式展示了时间序列中隐含的多周期关系。

提出了Peri-midFormer模型，利用周期金字塔注意力机制自动捕捉不同及相同层级周期组件之间的依赖关系，从而提取时间序列中的多样化时间变化。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“时序表示”获取全部方案+开源代码

码字不易，欢迎大家点赞评论收藏