论文阅读：Deep Joint Rain Detection and Removal from a Single Image

2017 CVPR：JORDER

JORDER： JOint Rain DEtection and Removal

该文章主要提出了一种多任务联合检测与去除的去雨网络。创新之处： 1. 在雨建模方面进行了优化，并引入了二值映射机制来构建区域依赖型降雨模型。此外，在大雨场景下由于降雨云层叠加及不同形态与方向降雨带叠加所造成的气溶胶分布情况也被建模考虑。2. 该方法通过结合单幅图像中的降雨特征提取与去噪过程实现综合效果提升。3. 通过上下文扩展网络设计，在保持精细局部细节的同时显著提升了整体捕捉全局语境的能力。4. 最后引入循环检测与去除模块以有效应对强降雨场景中的模糊边缘问题。

前人工作

去雨工作涉及基于视频序列的降雨图复原以及单幅图像的降噪处理。降噪处理可被视为一种信号分解问题或可采用非局部均值滤波器进行降噪。黄先生通过稀疏编码从高频层分离出雨纹特征，并基于HOG特征构建字典进行学习。然而形态学方法结合分层分解与字典学习存在局限性，在实际应用中可能导致背景区域过度平滑。随后提出了一种低秩模型假设：降雨层具有低秩特性。Kim则在非局部均值滤波器框架下实现了降雨效果的检测与去除。罗的工作则采用了判别稀疏编码方法。近年来还出现了基于高斯混合模型（GMM）的方法用于降噪处理。

基于深度学习的去雨方法也在不断的发展。

局限：
1、由于雨纹与背景纹理图案之间存在内在叠加现象，在现有去雨算法中往往会导致目标区域出现过度平滑的问题。
2、雨图的退化过程相当复杂，在现有的rain-fall models中仍然难以充分捕捉rainfall过程中产生的关键特征。
3、现有的处理方法通常是以单个图像patch为基础进行运算，并以有限的感受窗口来提取空间纹理信息。这种方法无法有效利用较大范围内的空间纹理信息。

网络结构：

具体工作：

1、区域依赖的雨的模型

引入了一个基于区域的新变量R，在其内部每个元素都代表着二进制数值类型：当值为1时表明对应区域内存在降雨现象；当值设定为0时则表示无降雨状态。其中O代表含降雨图像数据；B作为背景层；S则代表降雨纹理层。
这有助于网络系统更全面地了解降雨分布情况。此外，在实际应用中，则可以让新的去rain通道首先识别出降雨纹理特征；在检测到特定降雨纹理后，则可以根据是否属于降雨区来分别处理这些区域。

对于雨纹积累以及大雨的情况下：

新的模型采用了Koschmieder理论作为基础，并且该模型能够应用于多种复杂的混浊介质环境

在其中，在这些具有相同方向的条带状纹理中,t代表雨纹层的层数,s则指明该类雨纹层的最大层数。A代表全局大气光照,α则表示大气透射系数（衰减因子）。

2、JORDER

2.1、联合雨的检测和去除的多任务网络

目的是通过给定的O，对B，S和R进行估计。采用极大后验估计方法：

其中Pb, Ps 和 Pr 是 B, S 和 R 的先验知识。
在过去的几十年中，在计算机视觉领域提出了许多深度学习技术来解决图像分析问题。
基于深度学习框架，在训练阶段这些参数可以从大量样本数据中自动提取，并通过网络结构隐式地编码这些特征。

如图所示，在采用了上下文扩张网络的基础上成功获取了雨纹特征F；随后依次推断出后续变量R、S与B；其检测与去除操作形成了一个连贯的流程：首先通过基于F的卷积运算获得结果变量R^{；接着结合F与R}进行进一步计算得出S ^{；最后综合考虑这些因素后进行最终运算以获得B}。

2.2 上下文扩张网络

核心目标是整合多层次降雨特性。该网络采用一种循环机制，在每一步中逐渐扩展的感受域。在每次循环中，网络会融合三种不同扩张因子与不同感受野的空间感知模式。

三条不同的扩张路径分别由两个相同的卷积操作构成（每个卷积核尺寸均为3×3）。值得注意的是这些路径虽然具有相同的内核大小但由于采用了不同的扩张因子其感受野呈现出显著差异性。其中特定的P2路径包含了两个卷积操作并且其对应的扩展系数为2这一设计使得其在空间感知能力上具有明显优势。通过这种级联操作不仅能够有效整合各条分支的空间特征而且能够显著提升网络模型的整体性能表现

循环JORDAN架构通过将卷积神经网络与雨量检测与去噪组件串联，在处理过程中逐步完成雨量检测与去噪过程并重建背景区域。该架构能够逐步完成雨量检测与去噪过程并重建背景区域，在这一过程中实现了画面质量的持续提升

网络通过计算O与B之间的差值，生成残差图像T(·)。
循环如下：

其中，Et代表预测的残差。迭代t次得到最终的预测：

4、损失函数：

结合一个时间变量t：

实验

分页符