《Learning Rich Features for Image Manipulation Detection》论文 阅读笔记
【论文介绍】
本文源自CVPR 2018会议，在Faster R-CNN网络架构的基础上开发了一种双流的Faster R-CNN网络模型，并被成功应用于图像篡改检测领域的研究中。
【方法的提出 】
现代社会中出现的各种图像篡改手段不断增加，并且呈现出越来越高的 sophistication。此外，并非所有篡改行为都会停止在图片层面；一些技术不仅会对图片本身进行篡改还会对其施以额外的后处理操作，例如对修改后的图片进行 Gaussian smoothing 和 compression 处理。这些处理步骤往往会使被篡改区域难以被有效识别。
目前已有的检测技术也存在一定的局限性。例如基于 LSTM 的体系结构、结合局部噪声特征和 CFA 模式的检测方法等。这些方法虽然在一定程度上能够识别特定类型的篡改痕迹或伪影；但大多仅适用于特定类别的篡改攻击。
- 本文提出了双流的Faster R-CNN网络，本文使用全局视觉篡改伪影以及局部噪声特征来建模更丰富的篡改伪影，本文使用一个建立在更快的R-CNN上的双流网络来学习丰富的图像操作检测特征。该网络对拼接、复制移动和删除具有鲁棒性。此外，该网络使我们能够对可疑的篡改技术进行分类
- 本文还使用这些SRM滤波器内核来提取低级噪声，用作Faster R-CNN网络的输入，并学习从噪声特征中捕获篡改痕迹。此外，还联合训练一个并行的RGB流来建模中级和高级的视觉篡改伪影
【Method 】
- Faster R-CNN****网络
卷积层 ：从图片中提取特征。输入是一张完整的图片，在经过卷积操作后会生成一组称为特征图（feature maps）的输出数据。
其中，所有的conv层：kernel_size=3,pad=1,stride=1
所有的pooling层：kernel_size=2,pad=0,stride=2
conv层和relu层不改变图片输入输出大小
pooling层使输出长宽都变为输入的1/2
RPN****网络 ：一种用于生成候选区域（region proposals）的方法。其输入基于第一步中生成的结果特征图（feature maps），输出则包括多个候选区域。
首先经过一个3×3的卷积，然后分成两条线：
- 第一条线：利用softmax函数对anchors进行归类处理以区分foreground和background区域。其主要作用是生成positive anchors的概率分布。
- 第二条线：被用于计算每个anchor框相对于目标框的位置关系的回归损失函数生成的结果即为四个参数dx, dy, dw, dh。
- 第三条线：将positive anchors与其对应的bounding box回归偏移参数整合后输入到Proposals层中进行训练，并在训练过程中筛选出尺寸合理且置信度较高的候选框以提高检测精度。
ROI Pooling ：通过融合了特征图与候选区域的信息来生成候选区域对应的特征图；随后将这些特征图池化为与原始区域尺寸一致的特征图，并将其传递给后续网络进行处理。
分类与回归 ：这一层的作用就是确定目标类别，在图像中识别候选区域所属的目标类别。
的精确位置
bounding box regression原理如下：通过将原始anchor A进行映射处理，其定位结果相较于ground truth目标而言不够精确；为此方法通过将原始anchor A进行映射处理后生成的新回归框A*能够更好地贴近ground truth的目标框B。
- 双流Faster R-CNN网络
- RGB****流： RGB流的目的是从RGB图像输入中提取特征，对视觉伪影进行建模
SRM滤波器：RGB图像中提取局部噪声特征，得到噪声图
滤波器核大小为5×5×3
- 噪声流 ：通过分析图像中的噪声特征来识别真实区域与被篡改区域之间的噪声不一致性，并为篡改检测提供有力依据。
双线性池化层：结合来自两个流的空间共现特征
然后通过引入一个全连接层并应用softmax函数进行处理。系统将生成一个具有置信度分数的边界框描述，并判断检测区域是否存在异常篡改及其类型。
- 噪声流与RGB流共用同一个RoI池化层。
- 然而RPN仅依赖于RGB流中的特征来进行ROI区域的提取，并且这种提取过程被用来进行bounding box回归。
why？——实验对比出来的结果
【实验结果**】**
研究人员在四个标准数据集上与现有的多种基线模型进行了全面的比较研究，并对本文所提出的RGB-N网络体系进行了深入的性能评估与分析。
- 不同数据增强方法对性能的影响
只有翻转提高了性能，其他都对性能没有多大改变
- 在JPEG和Resize攻击下的鲁棒性
- 篡改方式的检测
相对来说，对copy-move操作的检测效果最差
由于采用了copy-move技术，在处理同一图像时其在RGB流中的视觉篡改伪影不够显著；而在处理带有高斯噪声的图像时，则由于局部区域噪声对比度较低而导致检测效果欠佳