论文笔记：Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency

2022 Neurips

1 intro

• 无监督学习与训练方法在自然语言处理（NLP）和计算机视觉（CV）领域中的应用日益广泛
• 他们大多基于合理的基础假设，并在所有数据集上具有一致性
• 例如，在NLP领域中，一个关键假设是无论涉及何种领域或语言的文本资料，在其语法结构上均遵循统一的语法规则
• 在时间序列分析中，过去尚未发现任何一种在不同数据集间均具有一致性的前提下的先验假设

本文揭示了无论是在哪种时间序列数据集下都成立的一种规律就是一个时间序列的频域表示和时域表示呈现出显著的特征

基于对比学习框架构建了Time-Frequency Consistency (TF-C)的核心架构，并使时频域序列表达趋于一致

2 方法

通过多类时间序列数据增强手段, 产出每个时间序列的多维度增强版本. 在时域上, 所采用的数据增强手段是基于jittering, scaling, time-shifts以及neighborhood segments等时间序列对比学习中的经典方法. 在频域上, 本文首次开展研究来探索如何实现频域中的时间序列数据增强. 通过随机抹除或增加frequency components的方式, 实现频域上的数据增强效果. 为了防止频域上的增强操作造成对原始序列过大程度的变化, 导致增强后的时间序列与原始序列不够相似, 对于增删的components以及增删幅度都会实施限制措施. 删除操作方面, 会随机选择不超过E个频率进行删除; 增加操作方面, 则会选择那些振幅低于一定阈值的频率并相应提升其振幅.
将输入的时间序列入Time Encoder和Frequency Encoder模块中处理后, 分别得到该时间序列入时域与频域的表现形式.
训练模型所采用的损失函数由三部分组成: 时域对比学习loss ...

* 频域对比学习loss 

• 时域和频域的表式对齐loss

• 前面两个loss分别在时域与频域内运用对比学习以拉近样本表示，并未引入时域与频域表示的对齐机制 * 为了使时域与频域的表现趋于一致并提升模型性能 本文提出了一种一致性损失函数旨在使同一个样本在时域与频域的表现趋于一致 * 借鉴了Triplet Loss的思想 并在此基础上进行了改进以适应多模态信号处理需求

• 未加修饰的时间序列时频特征：未加修饰的时间序列在时域与频域上的特征表现。
  • 加强化的时间序列时频特征：经过强化的时间序列在时Domain上的特徵表现与未加修饰的时间序 列在FreqDomain上的特徵表现。
    ——这种损失的目的在于衡量原始时间序 列在Time-Frequency时空空间中的差距（即其 在Time-Domain与Freq-Domain上特徵的表现之 差异），并要求这个差距要小于Time-Domain 或Freq-Domain上任何一种（或两種）经 过強化後的时间序 列对应的特徵差異。

3 实验

3.1 one-to-one pretraining

• 一一对应的方法分别进行预训练，在另一个数据集上微调后的效果进行了对比

3.2 one-to-many pretraining

• One-to-many——在一个数据集上预训练，在多个数据集上finetune的效果

3.3 是否加入一致性

通过可视化分析可知，在加入一致性损失的情况下对时频域表示学习的影响得到了充分验证。
在不加一致性损失的情况下，则会使得时频域的表示被划分为两个簇体，并且同一样本在时频域的表示表现出较大的差异性。
引入一致性损失则显著地减少了同一样本在时频域的表示之间的差异性。