Deep Learning of Human Visual Sensitivity in Image Quality Assessment Framework阅读笔记
论文整体思想
（1）图像质量评估是预测感知质量的重要指标，在图像编码、监控等领域有着广泛的应用。作为最终的人体感知对象，在设计图像质量评估指标时应充分考虑人体视觉系统的敏感特性。
（2）传统的全参考图像质量评估方法基于心理视觉科学对人眼视觉系统建模具有较高复杂度，并且其通用性受到限制。
（3）针对上述问题，在深度学习与CNN技术的发展背景下,Kim等人提出了一种基于卷积神经网络架构的图像质量评估算法(DeepQA)，该方法能够生成具有视觉敏感度分布特性的权重图，并通过像素权重值反映其在视觉系统中的重要程度。
（4）本文提出的评价方法无需依赖预先定义的心理视觉科学知识体系,而是直接从扭曲图像、客观错误评价图及ground-truth主观评价图中提取特征信息完成建模与优化过程。
（5）实验结果表明,所提出的DeepQA算法在预测视觉敏感度分布方面表现出了与人眼视觉系统高度一致的效果,并且在五个典型数据集上均达到了当前最优研究水平(SOTA)。
2.网络结构与算法流程
0,1
0,1
可以获得Objective Error Map（OEM），即Network Architecture's Error Map，在论文中设定参数ε = 1
其中P代表感知误差图，
H and W respectively denote the width and height of the perception error map,
(i,j) represents the pixel position,
where w represents the selected region.
p = s \odot e
其中
s被定义为视觉敏感度图(sensitivity map).
5)通过两个全连接层计算得到最终的预测分数,该分数与ground-truth主观分数之间的距离被网络模型视为损失函数.
6)为了抑制图像高频分量的变化,模型引入了total variation(TV)regularization项.然而实验证明即使采用不同的regularization项也未见显著影响.
3.实验
实验表明，论文所提出得模型明显优于其他模型。