large language model for time series
Large Language Models for Time Series: A Survey
摘要
本文聚焦于五个方面：直接提示LLMs、时间序列量化、对齐技术、利用视觉模态作为桥梁，以及将LLMs与工具结合等，以实现对时间序列数据的有效分析。
引言
时间序列能解决分类、预测、异常识别以及插补任务。传统地，这些任务采用经典的信号处理和频率域分析进行处理；最近，越来越多地采用CNN，LSTM，Transformer等架构从时间序列中提取出有意义的模式，进行多领域处理。
LLM在CV和NLP领域取得了巨大的success，因此引入到了Time Series领域。但是TS和LLM之间有一个modal gap，这是因为LMM通常在离散的文本上进行训练，但是TS一般都是连续的数字特征。
本文强调如何在modal gap中搭建桥梁，同时覆盖了金融、物联网、气候、交通和卫生保健领域。时间序列具有连续性，自回归性，采样率相关性。
基于LLM的一般性NLP流程分为五个部分：输入，分词，嵌入，LLM和输出。本文把分类映射到这个流程中。
输入——直接把TS数据的生文本作为prompting
分词——时间序列离散化为token给LLM处理
嵌入embedding——设计编码器对对齐，把TS数据编码到LLM空间
LLM——将视觉作为bridge连接TS，LLM
输出——工具集成，采用LLM生成tool来充分利用和分析TS数据
分类
Prompting
1、非固定数量的分词
该方法将时间序列数据作为raw data直接prompt LLM。将数字与普通文本同等对待 ，不进行特殊处理，依赖模型通过上下文学习数值关系。
2、固定数量的分词
将数字视为特殊语义单元 ，根据具体任务需求对数字进行定制化处理。
Quantization
基于K-Means聚类和基于VAE，基于频域。
Aligning
通过相似度匹配的对比学习方案，基于LLM backbone的的对齐方案。
视觉作为桥梁
配对数据；物理关系；时间序列绘制为图像，进入大模型处理。