Advertisement

无参考图像质量评价NR-IQA

阅读量:

图像质量评估(IQA)用于衡量图像的好坏,分为主观和客观评价。目前最大的IQA数据集LIVEC仅有1162个样本。早期基于CNN的NR-IQA方法面临数据集小导致过拟合的问题。为了解决数据不足问题,研究者们提出多种解决方案:包括块标签传播、特征融合、两阶段训练等;此外还通过生成大量失真图并人工标注来扩展数据集(如RankIQA方法)。这些创新为提升IQA模型性能提供了重要思路。

概念与背景:

图像质量评价(IQA)简单来说就是对图像质量好坏进行评估。这一过程主要包括主观评价(即让人类直接打分)和客观评价(利用模型自动打分)两部分。相比之下,主观评价虽然能提供真实的反馈但耗时耗力,在IQA领域中用于构建数据集的过程就需要大量的人力物力支持。具体而言,在这一环节需要志愿者对一系列失真图片进行详细评分(例如DMOS系统采用0-100的评分尺度),评分结果越准确则意味着参与者的专业性越高。因此在实际应用中IQA数据集的最大规模往往受到限制。与之相比ImageNet这样的大型分类数据集只需要标明类别标签即可实现百万级别的标注规模。目前在IQA领域内所能达到的最大规模的数据集也只有LIVEC这个项目拥有1162个样本左右

此外,在进行客观IQA分类时

早期做NR-IQA的方法:

最初阶段人类主要依赖传统手段来应对IQA问题,在具体操作过程中主要采用手动采集图像的特征参数(如NSS等指标),随后通过支持向量回归(SVR)方法构建特征与评分之间的映射模型。

后来,在其他图像领域(如)图像识别等方向上CNN取得了显著进展,并推动了相关研究者探索将其引入IQA领域的可能性

基于CNN做NR-IQA最大的难题:

数据集规模微乎其微!为了使神经网络能够有效学习与泛化,充足的训练数据是不可或缺的.在CNN中有一句名言道:

“It's not who has the best algorithm that wins. It's who has the most data.”

这个方法行不通啊!面对如此规模的数据集,志愿者们的任务显得力不从心。
对于仅几张图片的评估工作来说还算可以接受。
而当面临成千上万张图片需要精准评分时,
志愿者们的热情却完全被耗尽。

规模较小的IQA数据集需要被划分为80%用于训练与测试网络。这样的做法实在让人感到难以接受呢!因为这种数据集规模的数据分布无法充分反映真实场景下的情况,并且必须防止过拟合现象的发生。

数据集不足的解决办法:

是否因为数据集不足而中途放弃呢?不。人们尝试了多种解决方案以解决问题,并非必须依赖于CNN。

解决数据集不足这一问题的第一个策略是实施数据集内的图片分块处理。这种方法不仅实现了样本数量的增长(倍增),而且还可以从更细致的角度提升评估精度。该方法可追溯至2014CVPR上一篇具有里程碑意义的研究论文中。该研究也可被视为开创性地引入了基于CNN的端到端IQA评估框架。然而该论文在网络架构设计上较为简洁,在卷积层数量上仅包含两层卷积结构(个人记忆)。随后的研究者们沿用这一基础架构并在此基础上进行了多项改进工作:① 块标签:早期研究中发现,在一张图像中分割出的小块直接继承了图像整体的标签特性;但后来研究表明每个小块仍存在质量上的细微差别;② 网络结构:通过特征融合技术实现不同层次信息的有效整合和优化;③ 训练方法:采用双阶段训练策略——第一阶段采用基于小块的学习策略(block-wise learning),第二阶段则通过全图优化进一步提升模型性能;④ 在优化过程中融入显著性saliency思想——这是模拟人眼注意力机制的结果;后续研究者又在此基础上增加了更多创新点

到了2017年 RankIQA 的作者提出了另一个应对IQA数据集不足问题的方向

后期研究中还有一些方法值得借鉴。

其中一类方法是基于GAN的研究。
我认为这种研究方向非常有潜力。
然而大家普遍认为无参考图像质量评估是一个难题。
特别是在网络训练过程中缺乏参考图的情况下(例如LIVE CHALLENGE库),这一问题尤为突出。
如果没有对应的高清版本(简写参考图)(例如在LIVE CHALLENGE库中),那么网络训练几乎无法进行下去(因此大多数研究文章不会对此类数据集给出结果)。
尽管看似一些开创性论文并不需要使用参考图进行训练(如上述两篇经典之作),但实际情况却并非如此——仍然存在大量依赖于使用参考图才能完成训练的研究文章。
因此本研究采用了一种创新的方法:基于失真图生成伪参考图的方法,在没有原始参考图支持的情况下表现出色。
虽然我的导师认为在测试阶段使用一个参考图并不会带来实质问题,
但实际操作中发现这种方法确实存在一定的局限性。(orz)
不过我还是觉得这种对新数据集无法运行的解决方案有些不太合理。(这段描述可能与实际情况有所偏差,请谨慎考虑)
值得注意的是,
GAN在训练过程中同样依赖于原始图像的数据,
这一点在之前的讨论中已经有所提及,
因此上述结论依然成立。

嗯,就到这里吧。已经很久没有仔细阅读文章了,总会有新的内容更新出来呢。哈哈大笑中又不得不感叹一下别人的才智确实高超

全部评论 (0)

还没有任何评论哟~