Blind Predicting Similar Quality Map for Image Quality Assessment阅读笔记
论文整体思路：基于一个深度学习网络对distorted image进行特征提取和修复处理后输出一张修复后的参考图像，在后续步骤中使用该修复后的参考图像对原始distorted image进行质量评估以实现分数拟合的目的。本文提出了一种新的质量评估框架，在该框架中我们首先通过特征提取模块从输入图像中提取关键特征信息；接着将该中间相似度矩阵作为额外输入参数传递给预训练好的IQA模型以完成分数预测任务；整个过程无需复杂的优化运算仅依赖于高效的前向传播机制即可实现高质量的评估结果。
结构分为两部分：上半部分（红色区域）为生成模块，下半部分（蓝色区域）为质量池化模块。
- 生成模块：FCNN中的生成模块采用U-Net架构设计，在该模块中经历了四个下采样层与对应的四个上采样层通过skip连接实现信息传递，在此过程中能够有效获取深层特征信息。
- 输入端采用从扭曲图像中提取并裁剪得到的144×144×3大小的空间特征片作为输入数据。
- 该模块输出相似度分布图，并基于SSIM、FSIM等多指标计算方法构建了相应的相似度评价图谱，在这种框架下共有四种评价标签类型。
- 每个评价标签对应一种特定的模型构建方式。
- 在质量池化模块中，
- 两个预测质量评估图根据其融合策略各不相同
通过map输入到回归网络DPN中进行得分估计，并由该网络架构具体实现如下: DPN由5个3×3的卷积层以及2个全连接层构成; 损失函数采用L²范数计算; 其中(a)表示单池流模型,(b)表示多池流模型.
Id为输入失真图像时,
首先构建具有参数ω的生成网络Gω用于估计像素级的质量映射;
接着将深度池化网络fφ视为一种复杂的池化策略,
将预处理后的质量图转换为具体分数值.
为了验证SSIM、FSIM以及MDSI这三种质量评估指标在提升图像质量感知能力方面的差异性,
需对它们进行系统性对比分析.
其中(A)、(B)以及©都是通过JPEG压缩处理，并且在添加高频噪声以及局部块失真后生成的图像。接下来的三列分别对应三种不同的FR-IQA评估指标：SSIM、FG以及MDSI。其中A（1-3）、B（1-3）以及C（1-3）区域反映了真实的相似度分布情况。由此可见，在使用FCNN模型进行预测时
（a)-(e)是由空间噪声引起的失真程度逐步增强，在预测过程中发现预测质量图像逐渐变暗，并且预测得分持续降低的现象表明模型具有一定的有效性。
针对FCNN是否先对相似图像进行预测的问题，在实验设计中作者采用了SSIM计算得到的相似图以及FSIM梯度特征作为label进行训练。具体而言，在FCNN模型上分别进行了TID2013数据集上的测试，并将标签直接输入到DPN模型进行IQA评估。同时将未经失真处理的图像直接输入DPN模型进行对比评估作为基准性能指标。实验结果如下表所示：其中D_LB表示未经失真处理的图像直接输入DPN；S_PM是基于SSIM相似图构建的FCNN预测结果；Fg_PM是以FSIM梯度特征构建的FCNN预测结果；而S_LB和Fg_LB则是分别使用SSIM和FSIM梯度特征直接输入到DPN模型中进行评估；SSIM与FSIMc则代表了两种IQA评价方法的实际准确率表现。
从上表S_{LB}相比SSIM和D_{LB}增加幅度可以看出其在应用价值上的显著提升以及相似图应用中的良好效果。值得注意的是，在NR指标下FCNN网络的表现略显不足，在真实场景下的IQA评估结果仍存在较大差距。
3）针对不同的label进行对比测试
未采用标签信息时的情况称为No LB（无标签布），其中S_PM代表基于SSIM计算得到的质量预测图，
Fg/pm代表通过FSIM获得的质量预测图，
Fp/pm则基于相位一致性属性得到了相应的预测质量图，
而MD/pm则是通过MDSI计算得到的质量预测结果。
针对不同深度结构与全连接层配置对卷积神经网络池化性能的影响进行深入研究。
DPN被定义为所研究的网络结构；FC2仅包含两个全连接层，在每一层都拥有数量充足的1024个神经元单元；而ResNet 18代表拥有18层的ResNet架构模式；相比之下 ResNet 50则代表拥有更为复杂的50层层叠架构模式。研究表明 A/B/C/D best 在本实验中过多使用卷积操作并未带来显著提升效果。
系统性地评估多种融合策略的效果能够提供更为全面的结果分析
通过实验研究发现，在性能指标上单池流显著优于多池流。
最终进行的一系列测试旨在评估算法的整体性能表现。测试结果显示该算法表现良好，在测试中获得了一个相对较高的分数。然而，在对比分析中发现与近期提出的Hallucinated-IQA方法相比，在评估指标上存在一定差距。
