论文笔记（IQA）：Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment

 @article{Bosse2017Deep,

    
   title={Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment},
    
   author={Bosse, S. and Maniry, D. and Muller, K. R. and Wiegand, T. and Samek, W.},
    
   journal={IEEE Transactions on Image Processing},
    
   volume={27},
    
   number={1},
    
   pages={206-219},
    
   month={Jan.},
    
   year={2018},
    
 }
    
    
    
    
    代码解读

[arxiv]: <http://arxiv.org/abs/1612.01697>

本文是于2018年发表的一篇TIP文章，并在LIVE、CISQ、TID2013以及Wild Image Quality Challenge等数据库中展开了性能对比研究。该文章构建了FR-IQA与NR-IQA两种指标体系，并未涉及任何人工干预或基于NSS的传统先验知识。其中提出的网络架构采用了端到端的学习策略，并包含了一系列卷积层（共计10层）用于特征提取，并采用多级池化操作（共5层）进一步精炼特征。最后通过两个全连接层完成了回归任务。

注：数据驱动主要依赖移动互联网或其他相关软件作为工具来收集海量原始数据，在这些基础上对信息进行整理加工形成系统化的信息内容；随后对相关信息进行综合分析与提炼；基于这些数据经过训练与优化后建立并形成了一个自动化的决策支持系统；每当遇到新的情况或输入新的数据时，系统能够利用已建立的模型通过人工智能技术立即做出相应的决策判断。

（1）FR-IQA Model

下图是FR-IQA Model框架：

WaDIQaM-FR 或 DIQaM-FR

图一：基于深度神经网络模型的FR-IQA评估框架。该框架通过CNN捕获来自被失真块和参考块的特征，并通过差异、连接或结合补充差异向量的方式进行融合。随后将融合后的特征向量回归至分块质量估计值。此外包含虚线框的分支表明一种可选的对特征向量进行分块权重估计的方式，并通过加权平均分块聚合以实现最终的质量评估结果计算

(a)特征提取：

在FR-IQA模型中采用了一种基于孪生卷积神经网络的架构设计（Siamese CNN）。该研究提出了一种改进型特征提取方法，在这一过程中依次配置了多个conv3-32层，并结合maxpool操作以提升特征提取效率。随后连续设置了两个conv3-64层并进行了两次maxpool操作以进一步增强特征表示能力。接着又设置了两个conv3-128层并施加maxpool操作以获取更高层次的抽象特征。随后再设置两个conv3-256层并进行一次maxpool操作以优化特征维度。最后再配置了一个全连接层FC-512用于降维处理后再接入一个FC-1全连接层完成回归计算任务以实现目标评估指标。整个网络架构总计拥有约520万个可训练参数且所有卷积层均采用了固定大小为3×3像素核并通过ReLU激活函数进行非线性变换以增强模型对复杂图像细节的捕捉能力

激活，其中

和

分别用作输出层、权重矩阵以及ReLU激活函数的应用对象。
通过在卷积操作中使用零填充的方式进行处理后可以保证输出特征图尺寸与原始输入特征图一致。
所有max-pool层均采用2×2像素作为其核尺寸以实现下采样效果。
通过在全连接层引入Dropout正则化措施来抑制模型过度拟合现象。
所研究的数据集样本均为32×32分辨率的小块图像，并且每张样本图像是独立抽取自整幅原始图像。
整体图像的质量评估采用加权平均法进行综合考量。

(b)特征融合：

获取了输入参考图像与失真图像，并利用Siamese网络对这两类图像分别进行处理后，能够提取出参考图像对应的特征向量（

）和失真图像的特征向量（

），然后进行特征融合，简单的concat(

)，由于

和

的spatial 空间是一致的，这使得

差异能够有效体现特征空间中的距离。为了简化回归任务的求解过程, 明确地引入了相应的约束项。

，即，concat(

)。

(c)加权：

在计算图像整体视觉质量时

是图像块的数量，

是每个patch的质量）。

在回归阶段中采用Mean Absolute Error (MAE)替代Mean Squared Error (MSE)，由于 MAE 是一种比 MSE 更不敏感于异常值的替代方案。则在优化阶段中（损失函数被定义为：

\text{loss} = \text{MAE}(y, \hat{y})

Pooling via weighted average patch aggregation：图像局部区域的感受性无法全面反映全局感受能力（反之亦然），这一关系并非单向确定。具体而言，在上述基于平均值计算的方法中仅通过选择较少的离群值敏感的设计方法实现了粗略解释功能（个人见解）。然而这种简单的加权平均策略未能充分考虑不同图像块之间感受性差异的影响（即每个patch的感受性对视觉系统的独特作用）。

在进行加权平均时，在对权重进行回归处理的同时。随后进行空间池化处理以获得最终的图像质量评估。

文章中通过整合第二个（图一虚线部分）分支到网络的回归模块以缓解相对图像质量的空间变化问题；该回归模块与补丁质量回归分支同步运行并共享相同的维度参数；针对每个图像块

，该分支的输出是

。 通过ReLU激活

并添加一个 a small stability term

：

权重归一化操作：

整幅图像的质量

计算如下：

那么对于联合端到端训练，则要使损失函数最小化：

（2）NR-IQA Model

下图是NR-IQA Model框架：

WaDIQaM-NR 或 DIQaM-NR

图二展示了Deep neural network用于NR-IQA这一过程。使用CNN提取了损坏图像块中的特征。特征向量f_d被回归为单块质量估计。各单块质量估计被整合成整体图像质量评估。网络分支表明可选地将特征向量回归到单块权重估计，并通过加权平均单块聚合允许池化

NR-IQA模型是建立在FR-IQA模型的基础上进行减少，并通过移除参考图像的相关分支来实现这一过程；其余部分则与FR-IQA模型中的Distorted Patch分支保持一致。具体细节可见图二。