论文阅读：Multi-Scale Progressive Fusion Network for Single Image Deraining
坐得住凳子。
2020CVPR：MSPFN
这篇论文是2020CVPR的一篇重要文章，作者来自武汉大学。研究团队系统性地整合了金字塔结构与信道注意力机制，并通过创新性的方法协同地表达了多尺度的雨纹特征信息，最终提出了一个名为MSPFN的新网络模型。
代码：戳我
本文提出了一种基于多尺度渐进融合的网络结构(MSPFN)，旨在实现雨量估计。
针对分布于不同位置的相似雨纹特征
通过逐步构建多尺度渐进融合框架
主要创新之处：
基于雨纹的相关特性，在深入分析不同尺度间存在的互补关系后，并非仅局限于外观特征提取这一层面。本文提出了一种新型网络架构 MSPFN（Multi-scale Pyramid-based Flow Network），该网络能够有效整合各层次特征，并实现精确建模以适应复杂的流变特性。
采用三个关键模块：CFM（Cross-scale Flow Module）、FFM（Feature Fusion Module）和RM（Refinement Module），结合金字塔结构与信道注意力机制，在多尺度特征提取与融合方面展现出了显著优势。
将去水算法应用于目标检测与分割任务，并对其性能进行了全面评估。
网络结构：
首先采用高斯内核对图像实施下采样处理以构建高斯金字塔结构，
接着利用初始层的卷积层成功提取了图像中的浅层特征，
随后我们应用粗融合CFM方法整合不同尺度下的特征，并确认其有效性。
进一步采用细融合FFM方法对多尺度特征进行了渐进式的整合优化。
最后经过RM模块的作用实现了图像重构与整合过程完成。
具体实现：
1、雨纹间的协同表示
在不同层次上观察到的降雨模式存在相似性，并且在相同层次（以青色突出显示）或跨层次（以红、橙、黄、绿框重点突出）的情况下都能提供关键参考信息（如类似的外观特征），有助于重建目标区域内的降雨条纹（原始雨云白图数据）。
2、CFM 粗融合模块
粗融合模块( CFM)主要依赖多个并行残差回归单元(residual recurrent units , RRU)来实现对多尺度雨纹信息的深度提取与整合。主要依赖循环机制与残差学习以获取全局纹理信息，并通过Conv-LSTM 来完成空间维度上的上下文纹理信息的递归建模过程。显著提升了较浅层网络的感受野的同时，在较浅层网络中实现了感受野的扩大化效果。高分辨率的表现得益于前一阶段输出的结果，并且通过多层次采样与整合所有低分辨率金字塔层的信息来实现这一目标。
3、FFM 细融合模块
- 采用多个细化融合模块（FFM）进行特征提取的进一步整合。
- URAB（U型残差注意模块）采用了strided convolution来减少feature的空间维度，并通过deconvolution layer提升分辨率以避免信息丢失；同时引入了信道注意单元(CAU)以增强网络的学习识别能力。
- 级联FFMs之间采用长跳连接以实现多尺度雨相关信息的渐进式融合，并促进梯度的有效反向传播。
4、RM 重构模块
1、从CFM和FFM分别提取并整合低级与高级多级特征。
2、将来自CFM模块的结果与FFM最终输出进行融合，在卷积层中学习各通道间的相互依存关系，并相应地更新两个模块所提取的特征权重。
3、同时地，在迭代采样的基础上结合不同金字塔层次的信息进行综合分析以重构剩余降雨图像。
5、损失函数
MSE: 该方法通过平方惩罚可能会导致图像模糊以及过度平滑的视觉效果，并破坏高频纹理的信息。
该研究提出了一种基于Charbonnier罚函数的方法来逐步逼近实际雨纹分布，在实验中发现该算法在训练过程中具有良好的收敛性和对小误差的鲁棒性
边缘损失：约束真实图像和预测的无雨图像之间的高频分量。
总损失：
分页