From Image to Imuge: Immunized Image Generation
From Image to Imuge: Immunized Image Generation
- 个人简介
- 工作概述
- 相关研究综述
-
- 图像自嵌入技术*
- 图像重构技术（即填补缺失图像的技术）
-
Method
-
Experiments
-
Conclusion and Contact
-
Brief Introduction of myself
您好！我是复旦大学计算机学院的小应（Qichao Ying），我的Google Scholar链接为https://scholar.google.com/citations?user=QichaoYing&hl=zh_cn
Introduction of this work
该研究首次提出了一种被称为"图像免疫"的概念，并详细阐述了其核心机制。该概念的核心在于通过特定的转换操作对原始图像进行处理，并在遭受一定程度的恶意篡改后仍能有效定位其篡改位置并恢复出原始图像的信息内容。
该研究通过深度学习技术实现目标预测任务，并在多个领域中进行了实验验证[1]。
该模型利用图神经网络机制捕获节点间的关联性，并显著提升了分类精度[2]。
该算法借助经验回放机制提升强化学习过程中的训练效率[3]。
Related Works
Image Self-Embedding
大约在2010年左右时
在图像压缩阶段中
边信息生成与嵌入 。在当前研究领域中，在边信息生成方面存在许多相似性，并且这一过程通常被视为区分各种方法的主要关注点，并对它们自我修复能力的影响程度有着显著影响。先前的研究方法在边信息的生成上存在许多相似性，并且主要采用了矩阵编码作为其核心技术手段。
3）哈希生成。在嵌入边信息后, 图像自嵌入技术 需要为嵌入后的图像计算哈希, 以便于在提取端识别篡改位置。在这一部分, 不同自恢复方法采用了相同的哈希算法,[1-4]因此如果在一个8×8单元块内发现哈希发生变化, 整个块都会被认为受到篡改,[5-7]则采用了不同的策略,例如[7]将识别精确度提升到像素级别, 利用最低有效位(least significant bit, LSB)作为剩余7位比特位的一个监督, 如果监督位与剩余7位计算得到的哈希值不一致, 则判断该像素受到篡改。这两种方法的区别主要在于精确度: 前者能够防止漏识别篡改区域, 但可能会导致不必要的额外恢复; 后者能够精确到像素级别, 然而由于监督位仅有一位, 很可能存在篡改后监督位与剩余7位的哈希值仍一致的情况, 导致漏检测。上述两种情况都可能导致恢复能力下降, 相比之下以块为单位的哈希生成更受欢迎
- 攻击检测与图像修复 。首先,针对攻击检测而言相对较为容易,接收者只需获取图像后对各个小块或像素区域进行哈希一致性验证即可判定哪些部位遭受了修改。其次,针对图像修复问题,各种研究工作提出了多样化的解决方案;总体而言,这些方案大多融合应用了矩阵解码技术。在去除经攻击破坏的小块区域后,从未受破坏的小块中提取边缘信息并进行整合能够获得一个较短的序列r随后需针对该r序列进行求解以完成修复过程建议感兴趣的读者参考文献[7]因为该部分推导较为复杂且属于辅助性研究内容故在此略作概述
总体来说这类Self-Embedding方法尽管具有一定的有效性但存在一定的局限性：在这些方法中存在一个关键限制即它们假设图像主体在嵌入信息前并未受到任何形式的攻击性处理因此其实际应用场景受到了限制这种局限性导致该类方法容易受到常见的图像处理操作如JPEG压缩Rescaling等所带来的干扰从而降低了其鲁棒性在这种情况下嵌入的信息不仅会被这些压缩或缩放操作引入干扰还会导致最终提取出来的信息质量无法得到显著提升因此当遇到无法求解的问题时相关的信息内容就无法被有效地恢复即使采用粗略的方法也无法恢复相关信息
Image Reconstruction (Inpainting)
近年来有多样的深度学习应用于图像修复技术领域，在如基于GAN inversion进行图像重建以及image inpainting等方法上取得了显著成效。然而此类技术依赖于...
Method
上图呈现了本文所提出的基于深度学习的图像自愈算法流程图。为避免表述冗长，在后续内容中我们将此算法统一称为IMUGE。相较于前述的经典方法而言，本算法展现出良好的抗干扰能力，并能够抵御多种攻击手段。
整个架构包含多个子网络单元，在其中涉及编码网络模块（Encoder）、噪声层（Noise Layer）、鉴别器模块（Verifier）以及提取网络模块（Decoder）。此外，在架构中还引入了两个判别器模块用于优化重建图像与编码后的图像质量对比。
本研究中所采用的网络架构基于一个基准架构。本研究中所采用的基准架构是对经典U-Net结构进行了优化与改进的基础上发展起来的。此外, 我们还可以将基准架构替换为其他经典模型, 并对其中某些组件进行优化调整。经过实验分析表明, 简单调整网络结构、增加或减少层数, 或者引入一些关注机制(Squeeze-and-Excitation, CBAM等), 对最终性能的影响因素并不显著提升或降低。
攻击层 的作用是模拟图像在传输过程中可能遇 到的攻击类型，例如高斯噪声、JPEG 压缩、缩放 等。这些攻击都可能会对图像自恢复的鲁棒性与可 靠性造成一定影响。攻击层的作用是强化整个网 络，使得编码后的图像能够抵抗攻击。最后，使用 两个 PatchGAN 网络，分别判断原始图像与编码后 图像、原始图像与恢复图像的真假，以此提升网络 生成的图像的质量。 渐进恢复与任务拆解。在提取端，本文采用一 种渐进恢复的思想，这种概念被广泛使用在许多视 觉任务中，例如在[24]中，使用 GAN 网络渐进生成 虚假人脸，等等。该过程一共分为 4 个阶段，在初 始阶段，恢复网络仅生成分辨率为原始图像 1/16 的 图像，最后三组上采样模块不会起到作用，在后三 个阶段，我们逐渐提升恢复图像的分辨率，并将上 采样模块加入到整个流程中。最终，网络可以将比 较困难的自恢复问题转化为恢复不同分辨率下原始图像的子任务，实验也证明，相比一步到位的做 自恢复，这种渐进思想对于提升网络性能起到了十 分关键的作用。 鉴别器的任务是进行像素级别的二分类任务，得到图像中哪些位置受到了篡改，相当于第二章中 介绍的方法中的哈希鉴别环节。对于鉴别器，虽然 在实际应用中这个网络是与剩下的网络串行使用， 但在训练过程中，我们将鉴别与恢复两个任务剥离 开来。训练时候的信号流图如图 6 所示。
损失函数 。本文使用的损失函数还是以图像重构和GAN为主的，很vanilla也很直观。采用 L1 损失和判别器损失来 定量衡量原始图像与编码后图像、原始图像与恢复 图像的距离，此外还引入总变分损失(TV loss, total variation loss)[28]用来控制生成图像的平滑程度，防 止 GAN网络生成不必要的噪声信息。
Experiments
该图详细展示了本文提出的方法在实验中的应用情况；从实验结果可以看出, 提出的算法在篡改检测方面表现出色；值得注意的是, 在网络执行篡改检测的过程中, 它会识别图像中哪些区域不存在编码网络嵌入进去的特殊信号, 并以此作为判断依据；从图像质量评估的角度来看, 该方法在网络自适应性方面的表现同样令人满意；尤其是当存在多余物体被添加时, 该方法能够有效抵抗并恢复原始内容
本研究通过构建两个表格对图像在多种攻击场景下的自动恢复性能进行了量化评估。其中,BCE代表的是抗Domain检测中的各像素点误判的交叉熵损失程度,其数值越大则表示对抗Domain样本分类错误的可能性越高;而L-PSNR则代表被抗Domain区域内的信息质量与原始内容之间的对比程度,该指标能够有效反映区域内的信息完整性。
此外，在消融实验方面也取得了一定进展。本文针对自恢复质量这一指标提出了一系列优化方案，并对各个关键组件均进行了消融实验，并验证了各项模块均能有效改善自恢复性能。针对各个关键组件我们均进行了消融实验，并验证了各项模块均能有效改善自恢复性能。针对各个关键组件我们均进行了消融实验，并验证了各项模块均能有效改善自恢复性能。
Conclusion and Contact
本文首次提出了一种结合深度学习实现的图像自愈技术（IMUGE）。该技术通过轻微的图像转换来生成免疫图景，在接收方收到可能遭受有意干扰的免疫图景后会自动去除这些干扰并重建原始信息。借助对抗训练优化后生成的免疫图景不仅在视觉上与原始图景保持一致，并且重建后的图景呈现出极高的视觉质量。该框架被普遍认为是首个具备强大内容恢复能力的技术方案；实验结果验证了其性能优越性，在抵御善意攻击的同时能高效地重建出高质量原始影像，并具有重要的实用价值。
然而，在本文中所提出的这项技术也存在一定的局限性。举例来说，在处理纹理较为丰富的图像时，默认情况下该技术无法完整地恢复原始图像中的细节信息，并只能提取并重建其以低频信号为主的轮廓信息。此外，在本文提出的技术应用所依赖的网络体系结构方面也还存在进一步优化的空间。值得注意的是，在最近的研究进展中随着空洞卷积与Attention机制等新型技术的相继提出许多计算机视觉任务均取得了显著的进步与突破因此未来可以从多个维度对图像自愈技术的表现加以提升
微信：yqc_fudanian 邮箱：shin.dotcom@163.com GitHub, Youtube, and StackOverflow: yingqichao 知乎：Shiny 爱学习
The video titled "Youtube presentation" can be viewed on the following link: [https://www.youtube.com/watch?v=ZLqKjumpHL4&list=PLiq4OvA_l8kduy1wCSBsL2lQMJU6yY1ct&index=2&t=128s] ↩︎