Diffusion Model相关论文解析之(九)LafitE: Latent Diffusion Model with Feature Editing
目录
- 1、摘要
- 2、创新点
- 3、主要公式
- 4、主要实现过程
1、摘要
在柔性制造系统的背景下，在实现不同产品类型和数量的生产过程中需要最小化必要的重新配置工作。本文提出了基于统一模型的无监督多类异常检测解决方案：通过仅利用正常数据，在多个类别对象中识别异常情况。我们首先采用了生成式方法进行研究，并深入研究了潜在扩散模型在数据重建中的应用。随后，在分析现有技术局限性后，在输入特征空间上进行了优化以提升正态区域的数据重建质量；并在此基础上设计了一种改进型特征编辑策略以降低误报的发生概率。此外，在系统性地分析相关技术的基础上，我们首次针对无监督异常检测提出了一种新的超参数选择方法；同时设计了一种合成伪验证集的数据增强策略以辅助该方法的应用。
2、创新点
LafitE方法通过线性组合采用每个查询样本的特征切片与其核心集合MC中的其前K个近邻进行编辑操作。这些编辑后的特征切片被标记为e(i,j)，而整个经过处理的特征张量则被标记为e。值得注意的是，在这一过程中，最近邻信息通过加权项整合至核心集合MC中存储的相似但不同的正常模式数据中，并且这种整合方式旨在确保处理后的数据分布不会偏离正常数据流形太远。随后，在经过上述处理后得到的特征张量e上实施扩散重构过程，并在此基础上排除掉异常信息以解决身份快捷识别的问题。为了评估去噪效果，在处理后得到去噪特征张量x0rec并将其与原始特征张量x0之间的L2范数重构误差作为评价指标，并结合上采样技术和高斯核平滑方法生成用于异常定位的关键分数图从而实现异常估计任务。
3、主要公式
公式（1）：将不同层级的特征统一至同一维度空间后进行通道C层面的融合
公式（2）至（5）则详细阐述了扩散模型在前向传播及反向传播过程中的机制
公式（6）则用于评估预测噪声尺度的均方误差损失
公式（7）则描述了DDIM模型中通过迭代采样实现去噪生成的具体过程
公式（8）则进一步明确表述了扩散模型在前向传播阶段的操作流程
为了便于后续分析与比较，在建立记忆库时我们采用了基于正常样本特征的数据结构
基于此考虑，在构建核心集Mc时我们采用了贪婪搜索算法来进行最优采样
注意到，在整个研究过程中我们始终致力于排除干扰因素的影响
4、主要实现过程
如图所示，本研究提出了一种称为LafitE的整体架构。该架构主要包含两个核心模块：训练模块和测试模块。在训练阶段（Training Stage），我们构建了一个扩散模型来模拟正态分布，并利用内存库对特征进行编辑（Memory Bank）。具体而言，在训练过程中，在每一步中我们都会生成新的数据点并将其存储到内存库中以便后续使用。测试阶段（Testing Stage）则分为三个关键步骤：首先是预处理步骤（Preprocessing Step），其中我们将查询样本的原始特征通过特定算法对其进行调整以使其更加贴近正常数据流形（Manifold）的方向；其次是重建步骤（Reconstruction Step），在这个过程中我们通过扩散模型对修改后的特征应用去噪处理后逐步恢复其特性；最后是对比分析步骤（Comparison Analysis Step），在此过程中我们最终比较重构后的x0rec和原始x0之间的差异以实现异常定位和检测（Anomaly Detection）。
