阅读笔记：Fully Deep Blind Image Quality Predictor
论文：Sci-Hub | | 10.1109/jstsp.2016.2639328
代码：https://github.com/jongyookim/IQA_BIECON_release
贡献：
1. 为了克服基于深度学习的NR-IQA中的关键问题，可靠的FR-IQA度量被用作每个图像块的中间局部目标。
2. 提出一种有效的池化策略，在训练过程中，建议的池化阶段作为一个单层进行合并。为了进行有效的训练，将一幅图像的分割块分组为一个小批量 。结果得到了整个模型的优化参数。
1. 模型结构
局部度量分数回归、主观得分回归
在第一步中，模型针对每个补丁对模型进行训练，将分割后的图像块回归到目标局部度量分数上，该分数源自传统的FR-IQA度量。在第二步中，对于训练，池化策略被合并，同时以最小化训练损失优化所有模型参数。FR-IQA指标用于生成步骤1中使用的局部指标得分。
1.1 模型配置
用于BIECON的CNN架构如图所示
1.1.1 模型设计
BIECON的体系结构由两个卷积层组成，然后是四个完全连接的层。卷积层可以处理少量参数的输入图像。结合最大池层，我们可以在提取局部特征的同时，有效地减少特征图进入可管理的规模，然后，充分连接层通过考虑前一层中的所有神经元来获得更高级别的特征。
1.1.2 图层细节
卷积层的滤波器大小决定了特征映射大小的缩小率，对于3×3的小滤波器尺寸，卷积层的数量应该增加。此外，由于计算量大，不建议使用大于7×7的过滤器。
100为特征向量，得到局部度量分数，之后进入池化，池化特征向量放进两个全连接层回归主观质量分数。
1.1.3 最大池化
在每次Conv1和Conv2之后，进行2×2最大池化，众所周知，图像中的严重失真严重影响主观印象。基于这一观察，IQA研究中采用了百分位池化策略 ，CNN中的最大池与百分位池相似，只考虑最大响应。
1.1.4 激活函数
ReLU、LeakyReLU和ELU通常用于深度模型，以避免梯度消失问题。根据输出比例范围，可以选择ReLU、sigmoid或双曲正切作为最后一层的激活。
1.1.5 特征向量维数
100维
1.1.6 其他
批量规范化可以作为正则化工作，从我们的实证结果来看，批量标准化和dropout之间的性能几乎没有差异。为了减少训练时间，我们选择了dropout和L2正则化 。在图2中，从FC1到FC4的完全连接层上应用了该dropout层。
1.2 图像归一化
1.3图像补丁生成
代表一系列的失真图像，M代表失真图像的数量。
构建补丁集
，N为补丁的总数量，对于每幅图像，由于单调区域不包含足够的信息，无法根据失真情况主动训练CNN，因此将低空间变化的补丁从补丁集中移除 。在该实验中，非重叠补丁用于为图像中的像素分配均匀的权重，通过卷积层和完全连接层，每个输入补丁中的所有像素用于导出特征向量。
1.4 局部度量分数回归
输入补丁被独立地训练，而不使用与原始图像的其他补丁的空间相关性。采用四个FR-IQA指标生成局部质量图，结构相似性指数（SSIM）、梯度幅度相似性偏差（GMSD）、特征相似性指数（FSIM）和视觉盐渍化指数（VSI） 。这些指标在文献中证明了很高的预测精度。
对于本地质量度量，可以应用SSIM或GMS无缝地构建局部质量映射。相比之下，FSIM和VSI度量在加权池化后为每个图像提供分数，而不是池化前的局部质量图；导出局部质量图后，获得局部分数，以获取32×32窗口内每个斑块的局部质量图的平均值。
一旦获得了所有输入图像块和局部度量分数对，CNN模型将以有监督的方式进行训练，目标函数最终由预测和局部度量分数之间的平方Frobenius范数定义
1.5 主观分数回归
IQA模型使用了与学习阶段分离的池。
实验：
生成局部质量得分图 ：（利用MATLAB）
SSIM：
