Blind Image Quality Assessment via Vector Regression and Object Oriented Pooling
摘要
不同于其他的质量评价算法将提取的特征直接转化为质量分数的方法, 我们提出了一种向量回归框架用于生成输入图像对应的置信分数向量. 在深入探讨质量评估中的不确定性因素时, 我们构建了信念分数指标用于评估图像可信度, 并将其归类至相应的质量等级以外的位置. 同时, 为了进一步提升性能, 我们开发了一种基于对象的目标检测池策略, 通过整合图像语义信息优化目标检测流程以提升整体性能.
介绍
在向量回归阶段中设置了不同质量层级，并通过置信分数向量来评估输入图像归属各个质量等级的可能性。从实现层面来看，在这个过程中利用卷积神经网络（CNN）来生成置信分数图谱，并将其转化为用于全局聚合的局部注意力分数图谱。在这一阶段中提出了一种面向对象的质量感知聚合方法，在将局部注意力分数转化为图像级的质量评分时考虑到了物体更容易吸引注意的特点，在此过程中物体所在的区域会被赋予更高的权重系数。
本算法主要包含三个方面的核心内容：
- 不仅揭示了质量评价中的不确定性问题，并且通过引入置信分数向量来评估图像的质量等级概率。
- 将质量回归网络视为一个开放的框架，并通过接入不同类型的CNN提升性能。
- 提出了面向对象的池化策略，并显著提升了全局分数预测的能力。
向量回归的原理
由于不同个体对同一幅图像的质量感知存在差异性特征导致的质量评分结果也呈现出显著的分散性特征为了定量表征这种分散性特性的波动范围我们采用了概率分布模型来表征各个人群对质量评分可能性的分布情况在此基础上连续数据的离散化处理是主观质量评价体系中一种常用的技术手段在这里我们选择该方法将图像的质量评分划分为多个区间其中Pk代表图像落入某一特定区间的概率根据质量评分在整个样本集中的分布规律可以直接推导出各区间对应的概率值然而由于样本集规模限制直接求解Pk的过程较为复杂为此我们进一步探索发现可以通过图像质量评分与区间中间值之间的距离关系来表征Pk的具体取值大小即距离越小表示该图像越可能落在对应的区间内因此归属相应区间的概率也就越高基于此我们提出了一种新的质评信心度向量模型该模型通过向量化的方式表征了图像在不同质评等级间归属的概率分布关系并给出了具体的计算公式
当|Sk|值越低时，则表明图像在区间k开始的概率越大；为此我们提出了一种基于向量回归模型的方法；相较于以往仅依赖于图像质量分数来进行回归的传统方法；在此研究中我们采用了基于图像置信分数对神经网络模型进行回归训练的方式
基于向量回归和面向对象池化的BIQA
基于卷积神经网络的向量回归
向量回归模型
网络结构和预处理
网络结构如上图所示，只是在训练时在最后的池化层后面加上三个全连接层，前两个大小为512，最后一层包含K个通道，代表K个质量等级，在图像预处理时，使用去均值除方差的归一化处理。
训练数据的生成
对图像进行分块处理，并且为每个图像块分配一个与原图像相同的分数，这样就可以求出图像块的置信分数，之后进行网络的训练。当训练图像含有非同质区域时，这种数据增强的方法就不恰当，因此在这里纠正了该方法，这里对图像进行了筛选操作，对每个图像块进行全参考质量分数预测，当预测分数和原图像的分数之间相差大于一个阈值时，就将该块剔除。
损失函数
训练阶段采用最小均方根误差进行网络的回归训练，同时采用L2范数来正则化，防止过拟合。
局部分数图的生成
测试阶段，使用全卷积网络代替全连接网络，这时输入网络中的不再是图像块，而是归一化处理后的整张图像。这样网络得出多个置信分数图。这些图可以看作一系列由原始网路生成的置信分数向量。从这五个置信图中选出最小的两个绝对均值的置信分数图，来计算局部分数图。
其中Lk为局部分数图，在所选的两个样本中具有最小的绝对均值值
面向对象池化
实验证明，在该方法中整合语义信息能够显著提升算法性能。通过从原图像中提取目标区域，并对该区域进行随机采样得到一个掩码矩阵：赋予掩码值1表示属于该区域的像素点；赋予掩码值0则表示不属于该区域的像素点。随后计算F值，并将其与局部置信分数执行内积运算以获得第m个质量分数；最后将所有这些质量分数相加取平均值得到最终的整体图像质量评分。
将所有的M个质量分数求和平均得到最终图像水平的质量分数。