阅读论文：NESTED ERROR MAP GENERATION NETWORK FOR NO-REFERENCE IMAGE QUALITY ASSESSMENT

摘要：

1.方法

它包含以下三个部分：一个是主干特征提取模块、一个是负责生成数据并同时完成两个辅助任务的核心生成单元以及另一个专门用于质量评估的质量评估子模块。

1.1主干特征提取

Xn和Rn分别代表第n个失真图像及其相应的参考图像；yn记录了Xn的质量评估分数；通过en=|xn-Rn|定义了地面真值误差幅度图（Error Magnitude Map），并在训练阶段中进行处理；ResNet-50被选为主干网络结构，在扭曲的RGB图像Xn上直接提取关键特征；我们从ResNet-50的早期层与后期层分别提取了低级层次的关键特征与语义信息；观察表明，早期层输出反映了图像的基本结构信息；相比之下，在后期层获取的信息则涵盖了整体图像内容；这种差异性使得后期层的信息更具全局关联性；同时，在后期层获得的整体信息能够与局部变形情况形成有效的关联性；基于此观察结果，在后续研究中我们设计了一种新的注意力机制（Attention Mechanism）来处理这些不同层次的信息

相关研究表明，在视觉内容的质量感知评价过程中（Equation (1)），人类观察者在视觉信息处理中更为关注图像细节区域（high-frequency components）

1.2错误映射生成

畸变图像与对应参考图象之间的误差映射表征了客观畸变的本质特征。这种误差映射与视觉内容的质量感知存在紧密关联。基于此特性，我们构建了一个多层次网络架构，在多任务学习框架下实现从粗到细地重建误差映射分布

分为两个子任务及一个主要任务，在具体实施过程中分别针对不同场景展开研究与应用

众所周知，在L2损失函数中存在对异常值不稳定的特性，在处理失真图像与原始图像之间存在的像素差异方面表现得尤为敏感。为了缓解这一问题，在现有研究基础上构建了子任务II，并采用SSIM度量指标来进行结构信息捕捉。具体而言，则是通过在已有架构（即子任务I）外添加额外的卷积层来实现这一目标。在此过程中，我们不仅计算了子任务II所对应的损失函数与目标图像之间的结构差异程度，并且还对其进行了详细的性能分析。

表示任务二重建的误差图，

采用SSIM评估工具来计算两幅图像之间的结构相似性。值得注意的是，在子任务I中所涉及的参数集合\theta_1完全包含于\theta_2之中。

人类视觉系统赋予图像不同区域分布独特的权重系数。主要目标是建立对图像畸变敏感度的空间映射。通过ResNet提取的空间位置编码能够有效捕获图像语义信息并传递至深层特征图层。将提取的空间位置编码整合进主网络架构中既实现了主任务感知与微调训练的有效结合又形成了基于空间位置编码的内容自适应失真校正机制

1.3失真掩蔽与质量回归

我们利用学习内容自适应失真敏感度图结合元素乘法技术来实现对重建错误图像的有效掩盖。当背景中的遮蔽效果较弱时，在视觉上更容易被察觉到这些缺陷。随后通过应用1×1卷积层来整合来自子任务I和子任务II的遮蔽误差图像信息。接着对掩膜失真图像进行全局平均池化操作以量化感知级别的失真程度。整个框架的设计基于以下损失函数构建

代表预测的质量分数。为了简化说明,我们采用θ作为整个网络参数的符号.其中λ₁, λ₂和λ₃分别对应各项的权重系数.

1.4实验设置

我们从一张源图像中随机提取了40块大小为224×224的小块区域（补丁），分别用于模型的训练与验证过程。在模型的训练阶段（即对参数进行优化），每一块补丁都会被赋予与原始图像相同的主观质量评分作为监督信号。而对于验证阶段，则将所有补丁的小块区域进行独立预测，并将这40个预测结果取平均得到最终的综合质量评估得分。