RAN4IQA:Restorative Adversarial Nets for No-Reference Image Quality Assessment

本文详细介绍了2018年AAAI领域中一篇关于图像质量评价的研究工作。 该研究与CVPR的一篇相关文章在研究思路和方法上有很强的相似性，请您参考Hallucinated-IQA以获取更多细节信息。

算法原理

针对失真图像而言，在评价系统中使用生成对抗网络进行恢复；将输入样本送入评价网络后计算得到质量分数。

算法详解

Gain of Restoration（GoR）

在本文所提出的模型中，默认将失真图像与恢复图像之间的差异定义为 GoR（记为 GoR）。研究表明，在针对不同类型的去失真网络时发现：当图像失真程度越大时（即输入中的去失真操作越严重），对应的 GoR 值也会越大。我们的目标是使得每个输入样本都具有最大的 GoR 值，并通过这一指标来进行感知质量评估而非直接比较去失真后的图像与原始未受损图像之间的相似性程度。

恢复对抗网络

该生成网络架构主要由多个残差模块构成，并通过引入残差连接机制，在训练恒等函数时表现出良好的效果；同时观察到所提出的残差网络架构与人眼视觉系统（HVS）的重建机制存在高度相似性。具体而言，在每残留模块均遵循一致的设计布局下，每残留模块包含两个3×3尺寸的空间卷积层，并通过引入分支结构以有效积累并传递残留信息；为了缓解卷积层初始化敏感性的问题，在每残留模块中采用了BN层进行规范化处理。

基于VGG网络在计算机视觉领域的广泛应用及其取得的成功效果，在本研究中我们采用了与VGG13类似的架构来构建对抗网络的基本框架，并将该框架整合到现有的深度学习模型中。通过这种设计，在优化过程中我们同时考虑了两个关键目标：一个是定义用于衡量图像质量的感知损失项；另一个则是通过优化生成器使其能够在一定程度上欺骗判别器以提升生成图像的质量

感知损失 在本研究中与传统的计算机视觉任务有所区别，在具体实施过程中并未采用均方误差（MSE）方法直接对像素级别的差异进行损失计算。相反地，则采用了基于VGG19模型的特征提取方法来评估图像的感知差异水平。

对抗损失 对抗损失采用改进版的GAN中的WGAN的损失函数。

评价网络

评价网络采用和辨别网络相似的结构

值得注意的是，在本研究中所考虑的网络接收的数据是图像被划分为若干分块后的结果。由于各个局部的失真程度各异，在计算损失函数时，我们采用对各块预测分数进行加权求和的方法。具体而言，在计算损失函数时：

\mathcal{L} = \sum_{i=1}^{N} w_i \cdot \ell(y_i, \hat{y}_i)

其中w_i表示第i个分块对应的权重系数。