Hallucinated-IQA: No-Reference Image Quality Assessment via Adversarial Learning
生成式IQA: 无参考图像质量评估基于对抗学习
本文开发了一种基于HVS行为的质量回归网络架构——幻象引导网络（PAN），该架构能够有效利用畸变图像与预设参考视物之间的感知差异信息，并以此对人眼敏感度特性进行精确建模。具体而言，在实验步骤中首先从失真图像出发生成高分辨率场景幻象，并在此基础上构建了自然编码下的畸变图像与参考视物之间的空间差分特征图谱。随后，在深度学习框架下设计了自适应回归模块（DRM），该模块能够自动学习并优化空间差分特征图谱的空间权重分配关系。通过引入显著增强的数据可靠性指标——强而清晰的空间差分特征图谱作为训练信号来源，在此过程中实现了NR-IQA性能得到了显著提升
在最终预测中占据重要地位的是来自幻象参考的结果。然而，在实际应用中发现，在真实场景下出现异常情况时可能会导致模型性能严重下降。对此我们提出了两个分阶段解决策略：第一阶段是将敌对学习思想融入到幻象生成与质量预测流程之中，并采用了一种新型IQA鉴别器；一方面它能够有效抑制其对模型性能造成的负面影响；另一方面则通过约束低层语义特征来减少其对该环节的影响效果。第二阶段则是开发了一个全新的高级语义融合机制；通过深入研究并利用了整个系统的层次化特征关系；使得整个系统能够更加稳定可靠地运行起来；该机制不仅提升了模型的整体性能；还进一步优化了各组件之间的协同工作能力
在四个国际图像质量评估（IQA）基准数据集中进行了实验测试，在CSIQ算法下分别采用TID2008基准和TID2013基准作为测试对象，并对测试图像进行随机采样处理获取32个像素块用于训练模型。实验结果如表所示
我们列出了上述实验使用地面真实参考的结果作为理论界。这些研究被称为'ours+oracle'。为了进一步验证所提出的方法对NRIQA幻象参考的有效性和潜力。实验结果表明幻象信息具有重要价值，并且如果能够有效地生成幻象信息，则可能带来巨大的潜在性能增益。
Ours：
Ours+Oracle:
生成网络 采用 stacked hourglass 网络
应用MSE来施加对幻觉图像与真实参考图像像素级别的惩罚；这种计算方法能够有效评估两幅图像之间的整体相似性。在此基础上，在后文我们将通过计算特征空间中的损失来施加对幻觉图像与真实图像之间感知差异的惩罚；这种方法能够帮助我们更好地模拟人类视觉系统中的感知过程。
辨别网络
当回归网络预测出来的分数与真实质量分数之间的差距超过设定阈值时，在引入幻觉图像后会显著减少回归网络的性能表现；具体而言，在这种情况下d(\text{fake})被代入损失函数计算后会迫使判别器将生成图像识别为d=0、而将真实图像识别为d=1；相反地，在回归网络预测输出与实际质量评分差异低于设定阈限时，在引入幻觉图像后反而能够提升回归网络的表现水平；同样地，在这种情况下d(\text{fake})被代入损失函数后会促使判别器将生成图像和真实图像都识别为d=1以实现最小化损失的目标
在生成对抗网络中
综合生成网络本身的损失函数，得到最终生成网络的损失函数：
回归网络
基准：Res-18；差异图：通过将失真图像与差异图作为输入对回归网络进行训练；数学表达式如下
高阶语义融合：在生成图像对回归网络方面具有重要影响，在生成图像对回归网络方面具有重要影响的同时，在生成图像对回归网络方面具有重要影响的同时，在生成图像对回归网络方面具有重要影响的同时，在生成图像对回归网络方面具有重要影响的同时，在生成图像对回归网络方面具有重要影响的同时，在生成图像对回归网络方面具有重要影响的同时，在生成图像对回
通过消融实验结果图可知：其中BL代表基于现有标准的IQA架构，在此基础之上增添了幻象图像模块形成HCM结构；随后又在特征提取层引入了层次化损失函数以构建QSL模型；而ADV则通过引入对抗学习机制提升了模型鲁棒性；最后HSF则实现了多模态特征的深度融合这一系列改进均能显著提升整体性能
