IQA笔记1

把HVS当作一个信息处理系统，这个系统分为四部分：

optical processing,

retinal processing,

LGN (lateral geniculate nucleus) processing,

cortical processing

2.HVS有以下特性

Contrast Sensitivity Functions(CSF)：

从频域来看，CSF对空间频率的不同成分具有不同的敏感程度。在低频区域和高频区域的视觉感知敏感度明显下降。

Light Adaptation 亮度适应性：

相较于激励的绝对亮度，HVS对激励与参照物之间亮度相对差异的敏感性更强,观感知亮度同客观亮度对数相关。

Contrast Masking:

掩盖效应

Foveated Vision：

看一个部分的时候，其他部分会模糊。

error-visibility– based IQA算法的框架：

（bottom-up HVS-based）

step 1:preprocessing

一般来说包括以下步骤spatial registration（空间配准）, a color space transformation, a point-wise nonlinearity, PSF filtering, and CSF filtering

(PSF(point spread function) Contrast Sensitivity Functions(CSF))

空间配准是指把Reference image和Distorted image的点根据位置一一对应起来。

color space transformation：把色度和亮度分开，因为色度数据可以在更低的分辨率下处理。或者把图片转换到一个与HVS关系更密切的色域里面。

a point-wise nonlinearity

把像素的数字数据转化为像素的亮度数据，考虑到 Light Adaptation effect，也可以转化相对的亮度数据。

PSF滤波：通过低通滤波来模仿

CSF滤波：CSF本来应该是带通滤波，不过应用在IQA一般是低通版本，这使得图像对观看距离的变化更鲁棒。

CSF滤波并不是所有系统都有的。

step2

Channel Decomposition 通道分解

localized, band-pass, and oriented filters

These transforms divide the image signals differently in the frequency domain

step3

Error Normalization

Channel Decomposition的结果是分别来自Reference image和Distorted image两组系数

一般利用CSF和Contrast Masking来完成这个过程

一般CSF是baseline，但是如果上面已经用过了，此处可以省略。

Contrast Masking是增益控制机制（a gain-control mechanism），考虑频带内和频带间的掩蔽。

step4

Error Pooling

一般采用Minkowski form of pooling

where e(m, n) is the normalized error of the n-th coefficient in the m-th channel and β is a constant with a value typically between 1 and 4.

这个框架有以下几个局限性：

1.Quality Definition Problem

有些失真确实很明显，但是对人视觉的影响不大。

2.The Suprathreshold Problem

At the suprathreshold range, can the relative visual distortions between different channels be normalized using the visibility thresholds?NO!

3.The Natural Image Complexity Problem

还不确定能否通过简单模型的叠加来解决来自现实的照片的问题。

4.The Dependency Decoupling Problem

忽视了信号之间的依赖关系

5.The Cognitive Interaction Problem

忽视了人本身的认知的影响