Advertisement

ICCV 2019 去雾论文《Deep Multi-Model Fusion for Single-Image Dehazing》

阅读量:

Introduction
去雾算法过去的常见的模型是大气散射(atmospheric scattering)模型:
I(p)=J(p)\times T(p)+A(p)\times(1-T(p))
I是输入的含雾的图像; J是所需要的没有雾的图像;T是传输图(trasmission map),传输地图,其表示影响光的到达照相机传感器的距离相关的分量;A是全局的大气散射图,代表着环境的光强度。
深度学习方法:可视为layer separation model,分成无雾层和有雾层:
I=\Phi(J,H)
主要贡献点:
1、把上述两个模型融合用于提高去雾的性能
2、基于注意力机制的多尺度融合模块(attentional multi-level integrated feature, AMLIF)
在这里插入图片描述
DM^2F-Net将大气散射模型和layer seperation模型融合成新的去雾模型。
作者认为,浅层的特征可获取更多的背景信息,但无法处理被雾损伤的non-haze 细节。
深层的特征可以用来获得语义信息来去除输入图像的haze信息,但由于感受野太大,会缺少haze-free的信息。
AFIM先获得Attention Weights \Omega_x=Softmax(\sigma(\Theta*{MLF}+b)),\Omega_x与相连的MLF逐层相乘,最后通过一个attention map来生成多尺度的特征。
在这里插入图片描述
预测大气散射模型:
从大气散射模型和AMLIF一起预测transmission map(传输图)、atmospheric light和去雾后的结果
T_0是预测的transmission map,A_0预测的是atmospheric light,之后通过公式J_0=\frac{I-A_0\times(1-T_0)}{T_0}来计算最后的去雾结果。
在这里插入图片描述
下图是其他的四种Layer Separation Model计算的方法:
J_1(p) =I(p)\times R_1(p) ,J_2(p)=I(p)+R_2(p)
J_3(p)=(I(p))^{R_3(p)} ,J_4(p)=log(1+I(p)\times R_4(p))
作者的意思是用这几种方法隐式的模拟一个去雾的模型。
在这里插入图片描述
最后通过Attention机制把结果融合,通过图2的Attention Map来生成最终的结果;
J_f = W_0\times J_0+W_1\times J_1+W_2\times J_2+W_3\times J_3+W_4\times J_4+W_5\times J_5
在这里插入图片描述
可视化结果可以显示出来,大气散射模型可以获得较高的PSNR和SSIM的指标的值,去雾能力更好;
但AS模型会使得背景图像更平滑,损失大量的细节;layer separation的模型可以帮助恢复这些损失的细节。

atmospheric light, transmission map, 和去雾后的图像都有Ground Truth。

全部评论 (0)

还没有任何评论哟~