【IQA】Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning
该研究工作发表于2018年的国际顶级计算机视觉会议CVPR上,并着重探讨了生成网络(GAN)与回归网络之间的相互促进作用。具体而言,在模型架构设计中,我们通过联合训练机制实现模块间的协同工作。
作者基于"没有条件要创造条件"这一思想开发出了相应的技术方案,并提出了一种利用GAN生成的伪参考图作为引导层的质量回归网络模型以应对无参考图像质量评估挑战
数据库 :LIVE、CSIQ、TID2008、TID2013
项目:https://kwanyeelin.github.io/projects/HIQA/HIQA.html
框架:caffe
贡献 :
1、在质量回归网络中引入GAN,为NR提供了伪参考图;
在GAN生成器模块中增加了质量感知损失项。
3、使用判别器判别伪参考图;
4、进行特征融合,防止无意义的伪参考图对R造成影响;
网络架构

生成网络:将输入失真图像作为基础,并通过一系列的卷积层与上采样层进行处理;从而合成一个 hallacitated image;
判别网络:判断生成的伪参考图和失真图像是否相似;
图像质量预测网络...用于处理受损图像及其对比特征信息,并基于这些数据计算目标图像的质量评分值
1、质量感知生成器(G)
总损失:

Lp损失是参考图与GT的像素级误差(MSE),即

Ls损失函数是特征空间中质量感知误差项的具体表现形式,在模型训练过程中通过优化算法逐步缩小该误差项的值


由G生成模型产生的损失项为Lv, 由R网络生成的质量分数预测结果作为输入所计算得到的损失项为Lq(从而基于R网络预测的质量分数的好坏最终导致G网络的优化过程受到影响)。
Ladv是G的对抗损失,即

2、判别器(D)
引入了对抗生成的机制,判别G生成的图片是否真实,反向促进了G的优化
3、质量回归网络(R)
输入:失真图和差异图
高级语义融合:防止生成无意义的伪参考图影响R质量回归。
损失:

