阅读笔记：Blind Image Quality Assessment via Vector Regression and Object Oriented Pooling

摘要

该向量回归框架生成一个输入图像的置信分数向量，并深入分析质量评价中的不确定性因素；通过构建置信评分机制以量化图像的信任度，并将其归类为相应的质量等级区间；在池化阶段将目标区域赋予更高的权重以进一步提升性能。

本文贡献：

构建基于向量回归的质量评价框架，并深入分析图像质量评价中的不确定性因素。通过采用一种信念分数向量的方法来量化每个图像被分配到不同质量等级的概率。

所提出的向量回归框架具有开放性特征，在实验研究中发现不考虑网络架构的不同情况该算法都能够与各种不同的网络架构协同工作从而提升性能水平

为了进一步提升全局评分估计阶段的性能，在此基础上提出了基于对象的池策略。该策略通过赋予与对象类似的区域更高的权重，在这些区域内出现的对象建议具有更高的概率

在该阶段进行向量回归时，在引入多级质量划分的基础上并行计算各层次的质量可信度

在分数池化阶段, 本研究提出一种面向对象的池化策略, 将局部分布图成功转化为图像级质量分数. 其中, 区域占据率较高的对象将获得在该方法中获得更高的权重分配.

1.向量回归基本原理

模拟因个人的兴趣等不确定性，我们引入了一个概率分布

探讨不同个体对图像质量感知的研究，在此研究中我们采用x用于表示图像，并引入一个连续变量Q作为质 量评估指标来量化该图像的质量水平。分类量表作为一种广泛应用于量化评估图像质量的方法之一，在本研究 中被大量采用并取得良好效果。具体而言，在这种分类量表中我们将数字评分尺度划分为若干有序区间段，并将第k个 区间定义为uk（k=1,2,…,K），其中K代表有序区间的总数

这些间隔对应于K的质量级别，在该区间内P_k代表图像属于某个特定范围的概率。为了更好地描述图像在各个质量级别间的分配情况, 我们引入了一个信念分数向量来表征这一过程。

Sk为信念分数，y为输入图像的MOS值。值越小，概率越大。

2.通过向量回归和面向对象池化的BIQA

向量回归模型：图像预处理、信念分数映射、得分图选择

A 基于CNN的向量回归

1）网络结构和预处理

该网络架构基于图1的设计方案。在预处理阶段采用局部对比度归一化方法进行图像标准化处理。经过归一化处理后的图像呈现出均匀性和一致性特征。这对后续模型训练过程中的数据质量提升具有重要意义。

2）训练数据的生成

将图像划分为若干32×32像素的补丁，并为每个补丁分配与其原始图一致的分数值用于网络训练。当处理包含不均匀分布的图像时，这种方法不适合；为此我们采用筛选处理：对每个补丁计算全参考质量分数预测值；如果预测值与原图分数差异超过预设阈值，则移除该补丁。

3）损失函数

用权重衰减的平方误差作为损失函数

最小均方根误差和L2范数

4）局部分数图的生成

在测试阶段, 将全连接层替换成全卷积层以构建相应的全卷积网络. 将经过归一化的局部图像而非图像补片输入适应相应的完全卷积网络从而得到一组信度评分地图Sk. 这些地图可视为原始网络针对特定区域群估计的一组置信分数矩阵.

从这5个信念分数图中选择具有最小绝对均值的两个信念分数图，并计算相应的局部图。通过降低数据冗余，在给定的情况下（即该图像）被分配到这两个等级的概率会更高

B. 面向对象池化

对局部得分图进行预测，并将这两个质量图直接求平均是一种简便快捷的方式用于计算图像级的质量得分

p和p+1作为所选信念得分图的标识符，在调整生成局部得分图的宽度与高度后，全局图像质量分数被定义为：

该方法可以通过加入图像内容的语义信息来进一步提高性能。

我们通过随机抽样方法选取了子集，并将其中参数m表示的大小作为确定依据。随后我们将这些被选中的方案与当地地区的评分系统进行对应分析，并最终得出各方案的质量评分值。

和

质量分数是由Lp及Lp+1所获得的第m个被挑选的方法所得。Om表示第m个挑选提议对应的掩码；当等于1时属于该区域；当等于0时不属于该区域。

通过计算

Om已被调整为与j局部分数图相同的大小。

池化过程如图：

图像级别的质量评分可以计算为：