Depth Information Assisted Collaborative Mutual Promotion Network for Single Image Dehazing
目录
一、创新点
二、提出原因
1.a 双任务协同互促体系
具有差异感知能力的替代实现方案
三、具体实现
1.思路实施
2.网络框架
1).Encoder of Dehazing Network
2).Decoder of Dehazing Network
3). Depth Estimation (一种基于差分感知的方法)
4).Dual-task Collaborative Mutual Promotion Learning
四、结果对比
一、创新点
- 双任务协同相互促进框架
该系统采用了一种基于差异感知的替代实现机制
二、提出原因
双重任务协同的相互促进体系结构
a.景物的深度信息与雾霾图像间存在潜在关联,借助双任务交互机制将深度估计与去雾过程融合,使两者性能得以相互提升。
2.一种替代实现机制（具有差异感知）
为了达成这两个任务的共同优化目标，并提出了一种基于差异感知的技术方案
三、具体实现
1.思路实施
该双任务协同互促的框架
通过去雾网络处理含有雾霾的图像，生成预测图像；对真实图像与预测图像进行差分感知分析，并利用所获得的结果有助于改进深度评估网络的表现；同时对生成的预测图像与其对应的实际观测的真实图象进行差分感知分析，并利用所获得的结果有助于提升去雾网络的效果。
该系统采用了一种具有差异意识的替代实现机制
一方面，在研究中我们设计了一种方法来比较消雾后的深度图与理想图像之间的差异，并以此作为指导原则推动消雾网络更加关注那些非理想的区域；另一方面，在算法优化过程中我们发现，在提升模糊图像难以恢复区域的深度估计能力的同时能够更清晰地利用这些区域所包含的深度信息来进行去雾霾过程中的辅助重建工作；为提升这一目标，在研究过程中我们开发了一种基于去雾霾图像与地面真实值之间差异的新策略
2.网络框架
1).Encoder of Dehazing Network
该编码器主要包含U-Net、局部特征通过提取机制实现全局特征提取模块(LEGM)、深度推断网络(DE)、增强残差密集块(DRDB)以及多尺度聚焦关注模块(MSAAM)
a. U-Net是为了获取多尺度特征
,U-Net参数优化通过L1
b. 局部特征嵌入全局特征提取模块(LEGM)
输入:U-Net后1 × 1卷积输出的特征、3 × 3卷积输出的特征和DE后DRDB输出的特征
输出:三者融合的特征
c.多尺度聚合注意模块(MSAAM)
由三个LEGM输出的特征构成...经过如图所示的操作处理后得到3个权矩阵...其结果则用于构建MFM中的输入F1rc
2).Decoder of Dehazing Network
该系统由两个带有FMI特征引入（feature modulation implant, FMI）的LEGM构成。每个包含两个卷积层：一个融合模块（MFM）和一个LEGM。其中MFM的具体架构如图(c)所示。
a. 调制融合模块(MFM)
通过GAP、MLP以及Softmax对F1 legm及F1 rc进行加权求和得到的结果定义为A1 r,c。A1 r,c的具体数值反映了F1 leg与F1 rc所承载的特征在去雾图像重建过程中的重要程度.随后，在经过卷积层处理后的串联结果基础上生成具有最高特征重要度的第一位LEGM输出.在此过程中，在应用第二位LEGM时将第一位具有高特征重要度的LEGM输出与MSAAM算法计算出的f^2 LEGM结果作为输入信号并将其最终解码输出发送至卷积层以完成最终去噪图像u *的重建任务
基于差异感知的深度估计是一种利用空间信息进行三维重建的技术方法
a. 除雾结果之差
间接指示了除雾效果不理想的区域在除雾结果中的位置。
利用差分感知器架构（包含卷积层、多层前向网络（MLP）以及Softmax激活函数）对Ru∗/u的差异进行计算，旨在估计反映u∗与u之间差异程度的系数矩阵Ad,r。DE采用自定义损失函数进行优化以实现最佳性能。
4).Dual-task Collaborative Mutual Promotion Learning
a. DE与图像去雾网络以协同进化的模式协同训练，在优化过程中，其主要损失函数基于深度，则具体参数优化方案如后。
b. 在优化除雾网络的过程中, 将Mu*与-Mu作为差分感知器的输入, 得出系数矩阵A_{e,r}。基于这一系数矩阵, 我们采用特定损失函数来进行除雾网络参数的更新。
c.除雾网络的参数更新如下：
四、结果对比
