Anomaly Transformer 解读
如有侵权或其他问题，欢迎留言联系更正或删除。
一 序言
1. 出处：2022 ICLR
2. 代码：https://github.com/thuml/Anomaly-Transformer
3. 整体思路：
4. 历史主流方法对比：
LOF、OC-SVM、SVDD（传统机器学习方法）：泛化性差、忽略时间模式（temporal pattern）
RNN（重建或自回归）：虽考虑到时间模式，但仍逐点计算重建误差、预测误差，无法提供对时间背景的全面描述
显式关联建模：
GNN：仍只考虑“点对点关联”的信息建模，信息不足；
基于子序列的方法：无法捕获各时间点与整个序列间的细粒度关联，细粒度不足
5. 故本文提出 "temporal association (series-association)" ：（概念理解）
二 Methodology
1. 传统 transformer 借助 “自注意力” 机制，发现可靠的长期时间依赖性 →
提出 "Anomaly - Attention "：
更新 “传统自注意机制” → 基于 "association discrepancy" 的 "Anomaly - Attention"
动机改变：
因异常稀缺，寻求异常点与整个序列的关联极其困难，异常主要集中在其相邻的时间戳上
区分异常模式与正常模式的有力判据：引入 prior - association
2. "Anomaly - Attention"（左）及 本文提出的整体框架（右）：
Anomaly - Attention：同时建模 "prior-association" 及 "series-association"
提出动机：
单分支自注意力机制（the single-branch self-attention mechanism）无法同时建模：
"prior - association" 及 "series - association"
prior - association：
采用高斯核计算相对时间距离的先验：利用高斯核单峰特性，该设计可更多地关注相邻视界；
设置可学习的尺度参数 σ，使先验关联适应不同的时间序列模式，如：不同长度的异常段
**series - association：**寻求各时间点间的联系
3. 采用 “极大极小” 训练策略，逼近不同视图，对抗性训练：
4. 异常分数设计：
三 实验结果
