MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment阅读笔记
论文中心思想
特别强调的是,该方法采用了依赖于多个具体类型 NR-IQA 问题下的双层梯度下降策略,用于学习生成器.这些特定类型的 NR-IQA 问题本质上是基于针对各自特定失真类型的标准 IQA 评估.相较于现有技术方案而言,本研究的方法采用了更为灵活且通用的学习机制,使得生成器能够更高效地适应不同类型的去模糊问题.
本研究的方法及其网络架构主要分为两个核心阶段:首先是在预训练阶段中,我们构建了包含多个具体失真类型的元训练数据集合,并将这些数据划分为支持集和查询集.通过从支持集中样本映射至查询集中样本的学习过程来优化生成器的质量先验模块.在此之后,我们在微调阶段中,对目标域下的相关参数设置完成了质量模型的学习过程.
网络结构如上所示。
第一步：
对于每张输入图像x，得到预测分数：
损失函数是欧几里得距离：
该方法的目标是研究一个多失真条件下的共享先验模型，并通过将元训练集划分为支持集与查询集，并根据不同的失真类型进行划分来实现这一目标。
s表示支持集，q表示询问集，N表示失真任务总个数。这里本文从N个失真任务中随机选取k个任务作为一个batch。接下来使用SGD和Adam来优化网络，这里分成两步，首先使用支持集训练网络，由于我们的目的是希望网络在询问集上也具有好的性能即好的泛化性能，因此第二步使用询问集训练网络。最终我们可以得到质量先验模型，并利用质量先验模型对未知失真进行预训练。
第二步：
获得先验模型后，使用目标NR IQA任务对该模型进行微调即可获得最终的模型。因此整体的算法流程如下：
实验部分
实验部分
先验模型的可视化
可以看出梯度地图能够准确捕捉图像中真实失真位置的信息其中图3(a)存在过度曝光问题在这种情况下图像信息被严重压缩；图3(b)则出现欠曝光现象；而图3©不仅存在运动模糊问题并且图像中还含有较多噪声这些结果验证表明在大量NR-IQA任务的学习过程中模型能够有效捕获并利用图像中存在的各种失真特性