MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment
摘要
深度卷积神经网络（DCNNs）逐渐应用于 NR-IQA 领域。然而 IQA 数据集的规模较小，因此许多现有的 IQA 算法都是基于预训练网络构建的。然而这些预训练网络并非专为 IQA 任务设计而产生 从而导致泛化能力不足的问题。针对上述问题 我们提出了一种基于元学习的新方法 其核心思想是探究人类在面对不同失真图像评估其质量时所具有的共性知识 并在此基础上能够快速适应未知失真场景 具体而言 我们首先收集了多种失真场景下的 NR-IQA 任务数据集 然后通过元学习方法提取各类型失真下的先验知识 最后在此目标任务上对质量先验模型进行微调 实现高效准确的质量预测模型构建
介绍
训练深层次的神经网络需要大量的标签数据，然而收集大量的图像数据用于训练DCNNs是非常困难的，并且会耗费大量的时间。直接用少量的数据训练很容易造成过拟合，为了解决这个问题，现有的大量IQA算法都是在预训练网络模型上进行实验。然而这会导致泛化问题，主要原因是这些预训练模型不是针对IQA任务的。
在现实情况下，人类可以很容易地从各种失真的图像中获取质量先验知识，并快速适应未知失真图像的质量评价，如图1所示。因此，在NR-IQA方法中，学习人类的共享先验知识是评价不同失真图像质量的关键。基于这种动机，本文提出了一种新的基于深度元学习的NR IQA算法，它可以使机器学会学习，也就是说，能够通过相对少量的训练样本对相关的新任务进行快速学习。
特别强调指出
我们开发了一种基于深度学习框架的无参考图像质量度量方法。
在评估图像质量时，
我们运用元学习技术来提取各类型失真间的共性信息。
这是通过使用基于许多特定于失真的NR-IQA任务的双层梯度优化来实现的。
元知识作为一个理想的预训练模型，
能够快速适应未知类型的失真情况。
我们在五个公共IQA数据库上进行了系统性实验，
其中包含了仿真与真实场景下的数据。
结果表明，
该模型在泛化能力和评价精度方面明显优于目前最先进的NR-IQA方法。
本文方法
整个框架分为两个主要阶段：一是针对未知失真类型开展的质量先验模型预训练；二是针对目标应用场景进行的质量先验模型微调优化。**第一步的主要过程包括：基于特定失真类型的NR-IQA任务构建了元训练数据集，并将这些数据进一步划分为支持阶段的数据集合（即支撑学习的数据）和查询阶段的数据集合（用于评估学习效果）。随后采用分层优化策略：首先从支持阶段的学习数据向查询阶段的目标数据逐步映射关系；接着通过迭代优化方法更新质量先验模型参数直至收敛状态。**完成这一过程后，在第二步的主要工作包括：针对具体目标应用场景的质量先验模型进行参数微调优化工作；最终得到适用于目标场景的质量评价指标体系。
质量先验模型的元训练
失真之间共享质量先验知识
当前基于IQA数据库可获得的训练数据无法直接用来训练出有效的深层NR-IQA模型。
二元梯度优化的元学习
网络架构如图所示，整体结构较为简单明了，在训练策略上进行了优化。对于任意一张输入图像x来说，该网络能够输出其预测分数：
损失函数是欧几里得距离：
该方法旨在学习一个多失真下的共享先验模型，并通过将元训练集划分为支持集合与查询集合来实现这一目标；具体而言，在不同的失真场景下进行分类。
s表示支持集,q代表查询集,N为失真任务总数。本文从包含N个失真任务的集合中随机抽取k个任务作为一个batch进行处理。随后,采用SGD和Adam算法对模型进行参数调整,整个过程分为两个阶段:首先基于支持集进行模型训练,其目的在于使模型在后续的查询集中也能展现出良好的性能表现,即实现良好的泛化能力;接着利用查询集进一步优化模型参数,以提升其泛化能力。
最终获得了一个质量先验模型。
对未知失真进行预训练
基于已推导出的先验模型进行推导，在完成目标NR-IQA任务训练后即可实现最终效果。具体而言，整个算法流程如下：
实验
合成失真图像质量评估（IQA）数据库：TID2013 和 KADID-10K 这两个数据集被用于生成元训练集并评估先验模型在泛化方面的性能。
真实失真图像质量评估（IQA）数据库：CID2013、LIVE 挑战赛及 KonIQ-10K 被用于验证模型在真实失真场景下的泛化能力。
先验模型的可视化
观察到梯度地图能够精确识别图像中存在的真实失真位置，在图3(a)中出现过于曝出现象，在图3(b)则存在欠曝问题，在图3©部分显示出了运动模糊现象以及在图3(d)中标明有明显的噪声残留。这些实例充分说明了元学习方法能够从大量NR-IQA训练任务中高效提取图像失真类型的共有先验知识
个人感想
这篇文章应用元学习于IQA中缓解了数据不足问题。这是关于元学习的首次系统性应用研究。其他部分并没有特别突出的地方。总体而言，则主要围绕元学习与ResNet18结合的技术展开讨论。我认为，在处理视觉数据分析时，或许可以考虑替代传统的图像分割方法。通过这种方法无需对原始图像进行破坏性操作，并且能够有效提升数据集规模。”