时间序列分析:HCAN: Hierarchical Classification Auxiliary Network for Time Series Forecasting

摘要：

[2405.18975] Hierarchical Structure Assisted Causal Attention Model in Time Series Analysis

基于其显著的序列关系捕捉能力，深度学习大大促进了时间序列预测的发展。然而采用均方误差（MSE）损失进行训练的这些模型往往会导致预测结果光滑过度，并且难以处理复杂且高变异性的不可预测时间序列数据，并能够提取出其中的高熵特征。

在本研究中,我们开发了一种新型的方法,采用时间序列数值的标记化处理,结合交叉熵损失函数来训练预测模型,并考虑到时间序列数据的连续性特征。具体来说,我们构建了一个通用分层分类辅助网络(HCAN),该组件不依赖于特定模型而可集成到各种预测系统中。

HCAN 依托其独特的 层次感知注意力机制（Hierarchy-Aware Attention） ，能够在不同层级上整合多粒度的高熵特征。在每个层级中，我们为时间步分配类别标签以训练不确定性感知分类器（Uncertainty-Aware Classifier）。该分类器通过应用 证据理论模型（evidence theory model） 来缓解 Softmax 损失中的过度置信问题。

此外,我们还提出了层次一致性的损失函数 （Hierarchical Consistency Loss）,以保证不同预测层级之间的结果具有一致性.为了进一步验证该方法的有效性,我们将HCAN算法整合至当前最先进预测架构中,并在多个真实世界数据集上进行了系统性实验.实验结果表明HCAN相较于基准方法在性能方面实现了显著提升.

代码公开— https://github.com/syrGitHub/HCAN

总结：

这篇文章实际上做了三个点：

将预测过程分解为分类阶段与预测阶段。其具体步骤是将数据划分为粗粒度与细粒度两类。对于一个window内的数据样本，则根据其数值变化幅度进行分类处理。其中设置参数Kc=2, Kf=4, Ko=1。随后分别对样本特征进行分类处理，并结合前面所述的策略完成最终的输出结果计算。其中，在此过程中所作的预测即为Δyi=yi−ρkleft。

2. 设计了一个对softmax的改进。softmax的缺点，原文描述：

然而, 基于 softmax 的传统分类器往往会对不正确的预测赋予过高的信心 (Moon et al. 2020; Van Amersfoort et al. 2020)。为了实现将时间步级的数据准确分配到各个类别中, 这一问题变得更加突出。

我认为将softmax直接转换为针对不正确预测的概率值并不容易。因此，在该论文中作者采用了数学手段来描述这种不确定性，并且在UAC部分进行了重点阐述。具体来说，在该论文中通过最小化均方误差的方法来构建分类损失函数，并将其应用于内部预测任务上。

开发了名为ACL的系统（其中代码部分采用了 Hierarchical Consistency Loss）主要关注于解决数据在粗粒度与细粒度之间的一致性问题

方法：

后面主要是gpt翻译 + 瞎解读：

首先是 对问题定义。

该段主要阐述了这一数据集的具体内容。在附录中详细说明了该范围/类别的划分标准与流程。接着介绍HCAN的整体架构及其运行流程。

图2 x.x

通过从图2可以看出大致的一个流程。主要是通过backbone获取这一特征。（代码中实际上指的是编码解码器将信息解码为dec_out，这也是backbone输出的内容。）

然后呢就是经过HAA（第三部分）、UAC（第一部分）、HCL（第二部分）

UAC Uncertainty-Aware Classification：

后面就是对这个EDL说

数学不懂，推就完了

对应代码，感觉还是很难看懂

调用 可以看到 这个证据 就是 分类器的输出logit

 coarse_loss_edl, coarse_pred, coarse_uncertainty =

    
 un_ce_loss(label_c, coarse_Logit, 
    
 self.args.num_coarse, i, self.args.train_epochs)
    
    
    
    
    python

这个地方就是 分类损失 + 内部预测损失

HCL Hierarchical Consistency Loss：

实际上，在这一阶段（或这部分内容），我们已经能够较为清楚地进行分析和理解。核心在于确保粗粒度和细粒度分类的一致性。

HAA Hierarchy-Aware Attention：

这块就没有什么好讨论的了

后面得到的就是预测值。然后用MSE 计算 预测和标签的损失函数。

最后给出他的整体损失

把前面一加，，

实验目前没看，以后再加，作者不给数据，（.~.）