【Anomaly Detection论文阅读记录】EfficientAD: Accurate Visual Anomaly Detection at Millisecon ...(WACV-2023)

EfficientAD**（CVPR-2023）**

一**.**论文涉及的概念

1. 在线硬例挖掘（Online Hard Example Mining，简称 OHEM）:在训练深度学习模型时，模型往往容易正确分类那些易于分类的“简单”样本，而对那些“难”的样本（即分类错误或者置信度较低的样本）处理较差。在线硬例挖掘技术通常在训练过程中动态选择困难样本，逐步“挖掘”出难度高的样本进行训练。在线硬例挖掘的过程：

在模型训练阶段，
首先利用当前网络架构对训练数据集中的每一个样本进行初始预测。

评估每个样本的学习难度，
基于分类错误率或预测信心指标（如预测概率）来判断其是否属于"高难度"类别。

筛选出具有较高学习难度的样本，
作为后续优化阶段的数据补充。

更新优化模型时，
仅针对这些具有挑战性的数据实例重新优化其特征表示，
这一过程有助于提升模型识别复杂模式的能力。

逻辑异常：除了物理层面的缺陷（如划痕、凹陷等）外，在产品组装过程中还存在其他类型的缺陷（如部件缺失或安装位置错误等）。这就要求IAD算法不仅要能够识别图像中出现的异常图案（如组装错误标志），还需要具备对产品的整体装配流程的理解能力或者结构性认知能力。基于全局特征进行分析的IAD系统在识别这类问题时更具优势性。

二**. EfficientAD****方法**

1.PDN（补丁补充网络）

PDN生成的特征向量仅受限于其对应区域中的每一个像素。这意味着 PDN 的每个特征向量专注于局部区域而非远处影响。由四个卷积层构成。每个输出神经元均拥有一个 11x11 窗口的感受域，并因此能够描述对应的窗口内容特性。值得注意的是，预训练分类器表现出对远处区域的高度依赖性。通过定义明确的感受野机制，PDN 确保了某一部分异常不会影响到远处部分的内容特性。

PDN通过提取一个深度预训练分类网络的知识并将其整合到自身架构中以生成具有高度表现力的特征。该方法基于与PatchCore相同的预训练特征设计，并采用WideResNet-101作为基础模型。随后，在这一过程中，PDN通过优化其输出与预训练模型提取特征之间的最小均方误差来进行学习。

相比之下，在采用预训练分类器（如PatchCore的特征提取器）提取图像特征时所获得的特征向量具有长程依赖特性。这些特征向量不仅不仅仅仅受到局部区域的影响，在处理图像时还可能受到距离当前分析区域较远的其他区域的影响。这种特性会令模型难以精确识别图像中异常区域的具体位置或范围。基于此，PDN的设计理念是通过其清晰而紧凑的感受野布局来确保一个图像区域的异常变化不会导致与之相距较远的其他区域出现相似或相关的异常特征表现。

2.** 轻量级的师生模型（S-T）**

S-T模型旨在通过提供丰富且具有代表性的数据集来实现以下两个主要目标：首先，在常规图像环境中帮助学生更好地模仿教师的行为；其次，在面对异常或极端情况时避免性能下降的问题。这一策略与现有的硬样本增强方法类似，在这种策略下我们将学生的损失限制在那些最具有代表性的区域中——这些区域通常是学生尚未深入学习的重点区域。为了计算每个空间位置(c,w,h)处的像素平方差时, 我们采用了一种基于 teacher 和 student 的联合损失函数

。

根据提取特征因子phard∈[0,1]的基础上进行分析后

3.逻辑异常检测

指模型错误地将正常情况识别为异常

指模型错误地将正常情况识别为异常

一般而言，在处理具有精细细节的正常图像时（例如背景网格等），自编码器可能会遇到细节重建上的困难。这表明，在正常图像中，自编码器的重构可能会导致模糊等问题。基于此，如果仅通过比较自编码器输出与教师网络的差异来进行异常检测，则这种方法可能在正常图像上产生误报。此外，在这种情况下使用教师网络进行对比训练的效果如何仍需进一步验证。然而需要注意的是，在这种情况下使用教师网络进行对比训练的效果如何仍需进一步验证。

。

该学生网络通过训练能够实现对自动编码器在正常图像上的系统性图像重构能力，并能识别出其中一种典型的例子即图像重建出现模糊现象。然而该学生并未掌握如何处理异常图像重建的情况因为它们不在训练数据集中。从而使得自动生成机与人工结果之间的差异度非常适合用于生成异常映射图

为了解决该问题, 研究者建议将学生网络的输出通道数提升到更高维度, 并让其在进行参数优化时不仅能够模仿教师网络的行为, 还能够学习到自编码器独特的一些模式. 从而使得学生网络能够在训练过程中模仿自编码器在正常图像上的典型错误

表示学生的附加输出通道，则学生的额外损失是

。

对于每个图像，学生网络将会输出两个异常图：

局部异常图（Local Anomaly Map）：它是通过教师-学生网络对比生成的异常图。它基于教师网络与学生网络输出结果之间的差异来识别局部区域存在的不寻常现象。
全局异常图（Global Anomaly Map）：它是通过自编码器与学生网络对比生成的异常图，并且能够展示出自编码器在处理正常图像时所产生的一致性重构偏差。

结合这两个 异常 图 即通过 计算 它们的 平均 值 从而 生成 一个 整合 后 的 异常 图。 整合 后 的 异常 图 包含 有 教师 - 学生 对 和 自 编 码 器 - 学生 对 的 异常 检测 结果 。从 整合 后 的 异常 图 中 选取 最 大 值 作为 用于 测 量 图 像 是否 含有 某 种 特征 的 分数 。这 个 分数 能够 反 映 图像 是否 存在 这种 特征 ，分 数 越高 则 越可 能 具有 这 种特 征 。

总损失：

**4.**异常归一化

在一个映射图中的噪声可能导致另一个映射图中的准确检测结果在组合映射图中变得不明显。因此，在对局部和全局异常图进行平均以获得组合异常图之前，请确保它们被标准化至相近的比例范围之内。为了估算正常图像中的噪声水平，请基于一组验证图像来计算所有像素点处的异常评分集合，并统计这些评分值的整体分布情况。随后分别计算每个评分集合中的两个p分位数值：分别为qa（对应p=a）和qb（对应p=b）。在此基础上建立一个线性转换模型，并将qa值转换为零分；同时将qb值转换为目标评分为0.1的位置点。在实际测试过程中，请对局部与全局异常映射结果分别应用上述线性转换模型来进行规范处理。