A New Approach Towards General Purpose Image Manipulation Detection论文笔记

1、解决的问题：

一般而言，在执行图像处理时会留下与编辑类型相关的特征标记。研究不同图像是如何产生和留下的痕迹特征。通过技术手段获取相关证据的过程被称为图像是确权过程。识别可能存在的人为修改行为是检测篡改的关键步骤。

2、现有检测方法：

图像尺寸调节以及重采样处理、中值平滑以及对比度提升等技术手段，在实际应用中发现，在不同图像处理任务中构建相应的证据提取机制是一项具有挑战性的任务

3、constrained CNN

传统的CNN网络擅长从图像中提取内容信息，并不适于从与内容无关的部分提取特征（即残差往往主要反映了篡改痕迹的信息），因此我们提出了一种受限CNN（Constrained CNN）方法。该方法旨在通过专注于低级操作特征的学习来增强模型对篡改痕迹的检测能力。
在损失函数设计方面，在现有研究基础上进行了优化改进，并引入了权重参数以平衡各子任务之间的关系。

其中yi*(k)和yi(k)分别对应第k类第i个图像的真实标签与网络输出，在输出层中存在m个训练样本以及c个神经元（Cross Entropy）。

3.3、残差滤波器：

具体地表示的话，在CNN的第一层中，k代表每层共有k个滤波器。在每次迭代中，在第一次操作中将滤波器中心位置设为-1，并对其余部分进行归一化处理使其总和归一化为1（即当前位置权重除以除去中心位置权重之和）

随机赋值权重参数
正向传播过程
利用随机梯度下降算法更新滤波器权值，并通过反向传播误差调整这些参数
将所有第一层滤波器在位置(0,0)处的权重参数设为零
对非主元位置的所有权重进行归一化处理使其总和等于1
将每个第一层滤波器在位置(0,0)处的权重参数初始化为-1

残差：
残差：

残差滤波器：

即残差滤波器对应于该公式中的r值。我们需要建立f(I)与I之间的关联。令f(I)=~Wk，则

令I为一个冲击滤波器σ的形式，在其中心位置赋值为1而其他位置赋值为0，则经过约束后得到的结果Wk满足关系式Wk=~Wk-σ.

4、网络结构：

输入一个分辨率256×256的灰度图像。
（1）残差提取模块：该模块的第一阶段主要学习图像的基本操作特征，在这些特征往往容易受到后续非线性操作破坏的情况下（如池化与激活操作），因此其输出直接传递至常规卷积处理模块。
（2）多层次特征提取：为深入学习图像的空间关系层次结构，在此模块中采用连续应用卷积操作的方式，并在每个卷积块后接批处理规范化和激活函数，并最终完成空间池化操作。
（3）跨尺度特征融合：通过引入1×1尺寸的可逆卷积核，在约束条件下仅学习不同尺度特征之间的相互联系，在此过程中严格保持feature map的空间分辨率不变（即不损失图像细节信息），同时显著增强了模型的非线性能力。
（4）分类识别：该网络架构采用三层全连接结构进行最终分类识别，在此过程中前两个全连接层各包含200个神经元节点，并在此基础上引入 softmax 函数将输出结果划分为六类类别。

5、实验

5.1、单操作检测

5.2、多重操作检测
以1万张图片构建训练数据集（Training Dataset），共经历总计68次迭代优化（Iteration），批量大小设为64（Batch Size），模型参数更新采用动量优化器（Momentum Optimizer），其中动量系数设为 95%，并伴随指数衰减的学习率策略（Learning Rate Schedule），具体而言，在每个周期结束时将学习率按指数衰减至当前值的约99.9%（对应衰减因子为 1e-4）。实验采用7百棵决策树进行集成学习（Ensemble Learning）以提升预测性能；基于3万张图片构建测试数据集（Test Dataset）。

5.3、任意多操作检测

5.4、与基于SRM方法的比较