End-to-End Reconstruction-Classification Learning for Face Forgery Detection
现有研究主要聚焦于通过识别特定类型的仿真图像特征来进行深度伪造检测技术的设计。由于该技术在训练阶段主要针对已知类型的仿真图像进行了学习,因此其学到的特征容易受到训练阶段所涉及的具体仿真图像的影响,从而使得该技术在面对未见过的新类型的仿真图像时表现出较差的效果。
二、研究动机
1.相对于训练集所展现的过拟合伪造特性而言，真实样本的特征呈现较为紧密的分布。因此，在学习真实人脸与伪造人脸的本质区别时应优先考虑这一因素。
2.为了增强识别伪造线索的能力，需要提高对各类伪造技术所产生特征差异的认识水平。
3.各别伪造技术会产生不同尺度的特征痕迹，在这种情况下有必要构建多尺度特征提取机制以全面捕捉各类细节信息。
4.生成区域存在重建差异，在这种情况下建议采用差异分析的方法来优化分类性能。
5.由于各类伪造线索往往集中在连续的空间区域中，在信息融合过程中应当注重保持其空间一致性（\mathcal{N}）。
6.在损失函数约束下，在解码器层上提取并整合相应的编码器特征信息，并在此基础上建立有效的判别模型以提升整体性能表现。
三、研究目标
仅针对实际样本实施重建学习过程来获得有效的人脸图像表示；并基于实际面部与仿真面部在分布特征上的显著差异来进行假面检测。
针对基于重构与分类学习的人工智能伪造检测系统进行开发，在该系统中将重点研究如何通过分析真实面部数据来提取和分析紧致而精确的人脸表示方法，并在此基础上实现对潜在仿生特征的有效识别与解析。
重建学习：利用重建学习建模真实人脸的分布, 以此识别未见伪造模式. 构建用于度量学习的损失函数, 提升重建区分度.
- 重建真实图片
- 计算重建损失
计算度量学习的损失：有助于提升重建性能的同时，通过提升真实类内数据密度和异类间距来增强类别区分能力。
多尺度图推理：在编码器和解码器之间建立双向图以便整合编码器的输出与解码器的特征，在促进全面表征学习的同时帮助提取本质的区分度特征。
评估多个d^{i,j}_{dec}结点各自的重要性权重值：其中\mathcal{N}表示包含与e^i_{enc}相关的所有e^{i,j}_{dec}结点的集合。
- 特征融合：通过\psi度量\tilde{v}^{i,j}_{dec}的多样性（即其数值大小），当该值较小时（1-\psi越大），对应的通道将获得更高的权重。
- 将编码器的输出结果v^i_{enc}与聚合后的表示v^i_{agg}进行融合，生成增强表示v^i_{enh}
- 通过计算特征图F^{(j)}和增强表示v^{j}_{enh}之间的关系，我们能够在此基础上构建出增强后的特征图F_{enh}
3.重建引导注意力：利用重构差异引导网络关注伪造痕迹。
- 计算输入图片与重建图片的像素级差异
基于差异计算出注意力图，并将其作用于增强后的特征图之后完成残差连接操作
4.损失函数
五、实验结果
