python图像质量评价_图像质量评价（三）：FSIM

feature similarity index mersure(FSIM)利用特征相似性进行质量评价。因为human visual system (HVS)是基于一些低层次特征来感知图像的，而相位一致性特征( phase congruency,PC)可以很好的刻画局部结构。同时由于PC对于图像的变化具有相对不变性，这有利于提取图像中稳定的特征但是有时图像的变化确实会影响观感，所以需要使用梯度特征(gradient magnitude,GM)来弥补。FSIM中使用了PC和GM两个特征互为补充。

相位一致性特征提取( phase congruency,PC)

PC模型假设在傅里叶分量相位最大的点特征会被感知到。对于PC map的计算有不同方法，这里介绍Kovesi提出的方法。对于一维信号g(x)，其PC计算如下：

对于上面的正交的滤波器对，使用log-Gabor滤波器。

二维灰度图像的PC计算，可以先在多个方向上计算一维PC，然后通过一定规则将结果整合。上面的一维log-Gabor滤波器可以通过在与其方向垂直的方向上使用一个传播函数将其变为二维，传播函数可以使用高斯函数。

上面PC取值在0~1间。

梯度特征提取(GM)

梯度可以通过很多算子计算：

在水平和垂直方向分别计算梯度，然后计算最终梯度;

FSIM计算

对于两幅图像f1和f2，其FSIM计算可以首先通过上面的步骤得到PC1,GM1,PC2,GM2。

首先PC的相似度计算如下;

GM相似度计算如下：

PC和GM融合的相似度为：

FSIM计算如下：

彩色图像FSIM计算

首先对彩色图像进行颜色空间转换：

色度相似性计算如下：

彩色图像的FSIM计算如下：

实验结果

Database

Nonlinear fitting code

Results

FSIM

FSIMC

SROCC

KROCC

PLCC

RMSE

SROCC

KROCC

PLCC

RMSE

TID2013

NonlinearFittingTID2013

FSIMOnTID2013

0.8015

0.6289

0.8589

0.6349

0.8510

0.6665

0.8769

0.5959

TID2008

NonlinearFittingTID

FSIMOnTID2008

0.8805

0.6946

0.8738

0.6525

0.8840

0.6991

0.8762

0.6468

CSIQ

NonlinearFittingCSIQ

FSIMOnCSIQ

0.9242

0.7567

0.9120

0.1077

0.9310

0.7690

0.9192

0.1034

LIVE

NonlinearFittingLIVE

FSIMOnLIVE

0.9634

0.8337

0.9597

7.6780

0.9645

0.8363

0.9613

7.5296

IVC

NonlinearFittingIVC

FSIMOnIVC

0.9262

0.7564

0.9376

0.4236

0.9293

0.7636

0.9392

0.4183

Toyama-MICT

NonlinearFittingMICT

FSIMOnMICT

0.9059

0.7302

0.9078

0.5248

0.9067

0.7303

0.9075

0.5257

A57

NonlinearFittingA57

FSIMOnA57

0.9181

0.7639

0.9393

0.0844

0.9181

0.7639

0.9393

0.0844

WIQ

NonlinearFittingWIQ

FSIMOnWIQ

0.8006

0.6215

0.8546

11.8949

0.8006

0.6215

0.8546

11.8949

Weighted-Average

参考

https://sse.tongji.edu.cn/linzhang/IQA/FSIM/FSIM.htm

《FSIM: A Feature SIMilarity Index for Image Quality Assessment》

感兴趣的请关注微信公众号Video Coding