论文阅读笔记——【DeepNotch】Dodging DeepFake Detection via Implicit Spatial-Domain Notch Filtering

文章目录

• Evading Deepfake Detection through Intrinsic Spatial-Domain Notch Filtering
• 拓展
• 背景
• 主要贡献
• 目标
• 创新点
• 方法介绍

  • 动机分析：

    • 图像去噪需求与现有技术之间的关键鸿沟
    • 基于随机噪声引导的图像去噪策略
    • 一种新型的深度图像滤波算法设计

  • 实验

  • • 消融研究
    • • 关于故意噪音的讨论
      • 关于对抗性导图的讨论

  • 总结

避免深度伪造检测的隐式空间域带通滤波器

TCSVT2023

TCSVT2023

• 通信作者：Mr. Yihao Huang的邮箱为黄逸豪22@gmail.com；联系人电子邮箱：gpup@sei.ecnu.edu.cn。
• 论文原文：** Dodging DeepFake Detection via Implicit Spatial-Domain Notch Filtering **. [访问日期: 15 Oct 2023]. 可访问地址: https://ieeexplore.ieee.org/abstract/document/10287378

【探究一下与FakePolisher的不同与改进，创新点在哪里】

拓展

Notch型数字信号处理滤波器是一种广泛应用的工具，在工程领域中发挥着重要作用

工作原理：该方法通过频谱处理技术，在信号频谱中降低特定频率成分的幅值，并增强剩余部分。它常见于去除周期性干扰源并提高目标信号的清晰度。

陷波滤波器的设计通常涉及以下几个关键参数：

• 中心频率（Notch Frequency）： 此值旨在消除特定工作状态下的电磁干扰。
  • 带宽（Bandwidth）： 该参数设定的是与中心频率相配合的滤波范围。
  • 陷波深度（Notch Depth）： 这一指标反映了抗干扰能力的有效幅度。

陷波滤波器的设计可采用IIR（无限脉冲响应）或FIR（有限脉冲响应）滤波技术进行实现。具体而言，在IIR型陷波滤波中，默认会采用二阶结构进行设计；而对于FIR型陷波滤镜，则需要综合考虑窗函数类型与实际长度设置等因素来完成设计工作。

在数字信号处理领域中,陷波滤波器的设计与应用被视为一项重要研究方向.该技术可以根据不同的应用场景灵活配置以适应不同场景的需求.

背景

需要改进

需改进

当前基于GAN的最先进伪图像生成技术仍存在完善性问题，在很大程度上可归因于编码器模块中的上采样操作未能达到理想效果。现有的GAN上采样技术主要采用转置卷积、反池化与插值等手段，在生成假图像的过程中不可避免地引入了伪像元素。这些伪像不仅存在于空间域（如直方图）中，在频域（如傅里叶谱）也同样会出现。为了实现更高质量和更逼真的假图像输出目标，在假像中消除或减少出现的伪影图案是一个值得探索的方向。

贡献

1. 开发出一种简洁高效的艺术化图像处理管道，在不减少图像质量的前提下成功抑制伪像模式。
   该管道采用隐式空域陷波滤波技术进行处理，并结合基于学习算法实现降噪效果。
2. 针对周期性去噪问题提出了一种创新解法：首先通过极端空间噪声破坏周期性噪声模式；其次结合深度图像滤波方法重构无噪声假图像。
   这种方法相较于DeepFake方法显著提升了去噪效果。
   深度图像滤波为噪声图像中的每个像素提供专门的滤波器设计。
3. 基于语义信息构建对抗制导图这一过程采用了自适应机制动态分配不同强度的去噪力度。
   通过该机制能够实现更为精准的去噪效果。

• 该文提出了一种基于深度学习（DL）的伪图像修饰技术，并通过隐式陷波滤波器有效降低了其伪图像特征。
• 同时为提升现有算法性能水平，在此基础上又提出了一个新的语义感知定位策略。
• 实验结果表明，在现有技术中，
  现有的假图像是仿真机制高度依赖于特定模式信息，在实际应用中发现这一特性存在局限性，
  值得深入探讨的问题是：如何开发出更具通用性和高效性的深伪造检测技术？

目的

本文的研究旨在揭示已部署防御机制中的潜在缺陷与薄弱环节，并以期通过引入更强有力的竞争者来改善该防御机制的整体效能与安全性。首先致力于提高伪图精度；其次深入分析现有SOTA检测器的局限性；最后通过识别系统漏洞促进检测技术的进步。

创新

我们开发了一种名为管道DeepNotch的新方法；通过隐式的方式对DeepFake图像进行滤波处理以实现消融效果，在提升生成图像逼真的同时使其更容易被检测出来。

DeepFake在其光谱中呈现出棋盘图案以及可见的尖峰伪影（以红色箭头标注）。
（上）通过使用深度图像滤波对DeepFake图像进行直接修饰仍然无法有效去除伪影，并且这些残留的伪影会被部署在DeepFake检测系统中进行识别。（下）采用DeepNotch执行隐式陷波滤波操作。通过向DeepFake图像中注入适当噪声的方式能够有效降低隐式陷波模式的影响。随后，在不引入伪影的情况下应用深度图像滤波技术能够恢复原始图像的质量，并成功规避DeepFake检测系统。

方法

动机

伪图及对应频谱，围绕原点对称的亮点，从原点对称射出的星形线段等。

在空间域中消除或减轻伪模式的一种常用且有效的做法是在频域中应用具有陷波特性的滤波器。这种滤波器能够设计成不同形状、尺寸和方向，并可在多种频谱位置上使用。通过观察伪影在频谱中的分布情况，我们可以手动调整滤波器参数以最大限度地降低其能量。

为什么陷波滤波在频域不是自动检测规避的可行解决方案

在光谱中对称定位的伪影现象具有显著特征。对于圆形陷波滤波器这一技术手段而言，在实际应用中可以选择圆盘滤波器（如圆盘滤波器、巴特沃斯滤波器或高斯型滤波器）等不同类型来实现伪信号峰值的有效封装。通过在特定频谱位置上采用盘状和高斯型陷坡过滤技术，则能够有效地去除空间域中的棋盘图案干扰。

探讨为何基于频域的陷坡过滤技术并非一种有效的自动检测与规避策略

多种gan模型会在各自的频谱不同区域形成独特的峰值（亮点）。要实现有效的去噪需求，则必须通过人工辅助的方式精确识别并校准这些峰值的位置；否则将无法达到预期效果。
作为最基础的欺骗模式之一，在信号处理领域中还存在更为复杂的仿生干扰形式。其中一种典型的表现就是所谓的"伪影"现象——它由多个相互作用的信号叠加而成。
例如，在设计陷波滤波器时通常会采用矩形结构，并将陷波开口设置在特定方向上；此外还需要考虑滤波器的具体参数设置以及其在整个系统中的位置关系等多方面因素。
尽管如此，在实际操作过程中仍需大量的人工干预和经验积累才能完成这一任务。
即使某些较为鲁棒的方法能够生成高度一致的伪影信号（即具有固定的特征），但在面对图像经过几何变换的情况下（如平移、旋转等操作）也会出现定位困难的问题。
基于此可知，在空间域中存在的部分显示效应同样会对频域分析造成干扰：具体而言就是说，在频域中观察到的伪影往往表现为能量分布不均的现象——这种分布可能呈现出云状形态或者其他不规则形态；这样一来就很难通过简单的能量比较方法来确定其真实的大小范围。
基于上述分析可知：仅凭空间域中存在的部分显示效应就难以实现有效的去噪操作；而且现有的技术手段也无法完全替代这种需求。
此外需要注意的是：由于陷波滤波器本身具有的特性限制——即无法直接实现空域中的去除效果——这也进一步证明了现有技术方案存在的局限性。

其中对图像进行轻微的旋转和缩放变换，频谱中的尖峰被重新定位。

DeepNotch

DeepNotch

深度图像滤波的深度缺口

基于一些现有的DeepFake技术（如ProGAN），生成了一系列人工合成假图像i∈R(H×W)，研究者旨在通过降低该技术所引入的人工痕迹（即修饰输入以提升其真实感），从而生成一种改进版本I（即i^∈R(H×W））。这一挑战具有高度的技术复杂性：由于其内容的高度多样性以及不同类型的GAN在合成过程中会引入各自独特的纹理特征；因此单一的技术难以满足所有场景的需求；为了克服这些限制，在本研究中我们将DeepNotch建模为一种通用性的深度图像滤波问题；其中输入图像经由预先训练好的像素级别的核估计模型进行预处理：

其中DNN(·)代表类似于Unet的一种[42]深度神经网络，在预测每个像素对应的核k∈R(H×W×K2)方面具有重要价值。“圆圈*”符号标识逐像素级滤波操作。在图像I中第p个像素由对应位置在矩阵K中的第p个核进行处理，并将其结果标记为K_p∈R(K×K)，其中K代表核的尺寸参数。基于此基础，“ fake-real 图像对”的概念可以通过最小化L1损失函数进行离线训练以获得更好的效果。
显然这一架构设计体现了DeepNotch方法的核心思想：首先，“假像仅经过单层滤波处理而无需任何上采样操作”，从而有效消除了重建过程中的潜在风险；其次，“通过深度神经网络估计每个像素对应的核”，充分结合了深度学习技术的优势，在感知图像内容的同时实现了高精度的像素级核估计。

然而，在训练DeepNotch这类深度神经网络时，通常情况下难以降低其伪影数量。

通过隐式空间域方法实现了陷波滤波功能

随机噪声引导图像滤波

深度伪造技术会干扰真实人脸图像的光谱，并使假图像光谱中呈现出明暗分布特征。

在引入标准差为5的标准正态分布的零均值高斯噪声后进行处理时，在光谱数据中观察到的现象是伪影有所减少。

作为一种退化，随机噪声可能会降低图像质量。

作为一种退化，随机噪声可能会降低图像质量。

在某种程度上作为降质手段，这种随机噪声可能导致图像质量下降。

在某种程度上作为降质手段，这种随机噪声可能导致图像质量下降。

这需要让噪音添加更智能化或是语义感知化

这需要让噪音添加更智能化或是语义感知化

对抗噪音引导图像滤波

基于语义感知和稀疏噪声扰动的抗干扰性攻击引导下，进一步提出了一种抗干扰性的图像滤波方法。在原有的随机噪声模型基础上进行优化，并实现了抗干扰性图像滤波的效果。

其中'⊙'代表元素相乘，在这种情况下,A是一个取值为1的二元对抗噪声映射,用于在假图像上叠加噪声Nσ。

在模型中, J(⋅)被定义为交叉熵损失函数, 而y代表了样本I的真实标签. 因为I被构造为假图像（即非真实图像）, 所以其真实标签y被设定为1. 此外, 在这种情况下, 第二项的作用是为了促进生成器A尽可能地稀疏化特征表示, 在假图像中引入较少的噪声干扰.

步骤如下：

1. 从包含多幅伪图像的集合L中选择一幅作为基础图像I。
2. 利用简单的预训练DeepFake检测器D(·)进行攻击生成对抗性引导图A；通过argmaxJ方法确定其主要特征位置。
3. 应用均匀或高斯噪声分布的噪声映射Nσ，并将其与对抗引导图A进行乘法运算得到A⊙Nσ；将此结果叠加至基图假像I之上生成最终增强图。
4. 使用预先训练好的深度神经网络DNN(·)，通过指定核K对所得噪声增强图进行深度域修复处理。

实验

首先, 我们评估重建图像是否会影响各种假图像检测方法的检测精度. 然后, 我们进一步应用三个相似度量来定量测定其变化幅度.

针对利用指纹、图像以及光谱的技术，在本研究中采用了GANFingerprint（引用编号3）、CNNDetector（引用编号4）以及DCTA（引用编号2）等技术方案。其中引用文献[3]是基于指纹技术的最新研究进展之一。通过使用CNNDetector（引用文献4），我们可以有效地检测到多种类型的GAN模型，并验证其性能表现。在频谱分析领域中，则采用了DCTA以及f3-Net（引用文献43）。这些方法都建立在相同的理论基础上。经过综合考虑后，在评估我们的方法时，则选择了DCTA作为主要的技术支撑点。

我们将研究以下三个典型真实图像数据集：CelebA（引用44）、LSUN（引用45）以及FFHQ（引用11）。在这些数据集上进行系统性实验后发现，在上述真实图像数据集上我们综合尝试了多种基于gan的假图像生成方法，并最终选择了最适合该任务的方案。其中针对GANFingerprint和DCTA两种检测器类型，在ProGAN的基础上分别引入了SNGAN、CramerGAN以及MMDGAN等改进型模型；针对CNNDetector检测器，在现有研究基础上我们进行了扩展优化，并成功整合了包括ProGAN、StyleGAN（引用11）、BigGAN等在内的共13种先进的基于深度学习的图像增强算法。

我们采用了两类不同类型的噪声作为实验数据来源。其中一类是高斯噪声，在该类噪声中其均值设为零点；另一类是均匀分布型噪声，在该类分布型噪声中其均值设为零点、标准偏差设定为十单位；而均匀分布型的上下限分别设定在负二十至正二十之间

为了人工注入干扰信号，
通过训练一个基础的DeepFake检测器，
随后，在该检测器上执行对抗性攻击，
将生成的虚假图像作为输入样本，
生成具有指导意义的干扰图谱，
其中epsilon代表每个像素的最大扰动幅度，
最后，在生成位置处向虚假图像中人工注入干扰信号。

我们的方法属于后续处理黑色方框图像重建技术的一种，并无需依赖检测器中的任何模型数据。

为了更深入地评估假图像与重建图像之间的相似程度，我们采用了余弦相似度(COSS)、峰值信噪比(PSNR)以及结构相似度(SSIM)这三个关键指标进行量化分析。其中，余弦相似性指标通常用于评估数据间的接近程度。在实际应用中，我们需要先将RGB图像转换为矢量形式才能计算余弦相似度相关参数。而峰值信噪比(PSNR)则是一种广泛应用于有损压缩重建质量评估的重要工具。相比之下，在图像处理领域中结构相似性相关的方法因其具有极佳的效果而备受关注，并被公认为衡量图像之间差异关系最为有效的手段之一。具体而言，在所有测试案例中发现当COSS、PSNR以及SSIM这三个综合评价参数达到最大值时，则表示系统性能达到了最佳状态

需要注意的是，在本研究中我们特别关注的是两个关键参数：即余弦相似性相关参数以及结构类似性相关参数的具体数值变化情况，并将其作为最终系统性能评价的重要依据

我们以第二栏中的ProGAN (Pro)为例进行说明。具体来说，该模型包含以下五个子项目(列)：CelebA、ProGAN (Pro)、SNGAN (SN)、CramerGAN (Cramer)以及MMDGAN (MMD)，这些子项则表示将ProGAN生成的图像分类到上述类别中的可能性。在输入图像源类型方面，在第一列中采用Fake标记表示生成的是假图像；而其余各列则分别对应不同的重建方法：BL-PCA和BL-KSVD分别代表基于主成分分析（PCA）和稀疏表示（KSVD）的方法作为基线方案；通过我们的方法生成了四种类型的重构图像：添加随机噪声后的高斯去噪（DN(rn)-gau）、添加随机噪声后的均匀去噪（DN(rn)-uni）、添加对抗噪声后的高斯去噪（DN(an)-gau）以及添加对抗噪声后的均匀去噪（DN(an)-uni）。其中，“rn”与“an”分别指代随机噪声与对抗性噪声的应用；而“uni”与“gau”则对应均匀分布与高斯分布类型的噪声加入方式。

我们发现了99.91%的假图片被认为是由Pro制作而成。

消融研究

验证了添加噪声、深度图像滤波和对抗制导地图等关键技术的有效性。

我们引入了引导滤波器[57]和BM3D[58]，并进行了对比分析以评估其性能与其他经典降噪方法及深度图像滤波技术的优劣关系。通过实验结果表明，我们的方法在去噪效果上显著优于引导滤波器；值得注意的是，在实验中生成4万张图像所需的时间上存在显著差异：具体而言，在实验条件下使用BM3D完成同样数量的图像处理需要持续24小时以上 whereas our method only requires approximately half an hour to achieve comparable results.

在效果方面，采用D{N}({a}{n})-uni的方法较之D{N}({r}{n})-gau和D{N}({r}{n})-uni均表现出色。同样地，在结果上采用D{N}({a}{n})/g au的方法较之其他两种方案也表现得更为突出。进一步观察后发现，在性能上采用 D{N}( {a } { n }) - uni 方法 略 高于 采 用 D { N }( { a } { n }) - g au 方法

在真图上也测试一下该方法

在真图上也测试一下该方法

我们将其应用于真实图像，并考察该方法是否真正地将图像转换为具有真实分布特征的新样本集合；与此同时还需要评估其生成的结果是否与现有的GANFingerprint模型所预测的独特分布形态存在显著差异

重建假图像能够显著减少DeepFake检测器识别出的人工合成影像作为虚假内容的可能性，并较原始人工合成影像展现出更高的保真度特征。
值得注意的是，在将重建后的影像输入CelebA模型进行识别时具有更高的准确性。值得注意的是，在将真实影像输入同一模型时则表现不佳。
实验结果表明，在对抗防御能力方面，重建后的影像不仅能够欺骗基于深度伪造技术生成的数据分析模型（DCTA）进行分类判断，并且其在这一指标上的表现远超简单的人工合成样本。

cnn检测器基于两个阈值分别为prob_{0.1}和prob_{0.5}。研究表明，在proba_{G}_{an}的大规模测试中这些阈值均展现出优异的效果。

基于对抗噪声制导的图像滤波技术各自展现了其独特优势，在性能指标上均优于对应的随机噪声制导方案。

图9为DeepNotch在猫和人脸上的重建图像，重建质量非常高。

关于故意噪音的讨论

蓝色与橙色线条分别代表故意噪声与随机噪声的表现，在所考察的所有生成对抗网络（GAN）中，在不同比例区间内，故意噪声对应的分类精度显著高于随机噪声。

关于对抗性导图的讨论

黄色和紫色像素分别用于表示1和0。我们计划在该区域添加模拟噪声。最后一列详细说明了该区域在敌方导航图各通道中的占比情况。

我们的目的是以具有挑战性的实例指出了这一缺陷的存在，并旨在提升这类检测器的表现。

总结

生成仿真图像既具备极高的逼真度又能有效规避当前最先进的人工智能反欺诈系统（SOTA）

note：

1. 这一发现为我们设计一种新型深度图像滤波方法提供了新的途径。
   这一发现为我们设计一种新型深度图像滤波方法提供了新的途径，在修复假图像时可显著减少假伪影。
2. 为此，在本研究中我们采用了……方法，在XXX领域通过先……后……实现了……目标。
   为此，在本研究中我们采用了创新性的方法，在XXX领域通过先实施创新性技术并随后优化算法达到了预期效果。

at a significant decrease of 66.4%

注：本文仅供学习参考使用，欢迎交流。