论文阅读：Residual-Guide Network for Single Image Deraining

又一次发表在基于残差学习的研究论文，由厦大丁兴浩老师团队完成。这也是较早时候读过的一篇，重读了一遍。

2018 ACMMM： ResGuideNet

本文主要提出了一种基于残差指导的特征融合网络ResGuideNet。通过较浅层模块生成的残差信息来对指导更深层模块，并最终将各模块输出进行特征融合以实现单幅图像去雨。

具体地说, ResGuideNet主要是一种级联网络的设计,通过较浅层模块生成的残差信息来指导较深层模块的操作,从而随着网络深度的增长能够逐步得到负梯度估计,并从粗到细地完成特征重建.同时将各模块输出融合到一个重建模块中进行统一优化.每一层模块均采用递归卷积结构,并通过监督学习的方式对各层输出进行优化.这种设计能够在减少计算复杂度的同时保持较高的重建质量.

主要思想阐述：

现有方法存在问题：

1、现有方法基于单一模型学习负残差的多数情况，在这些方法中需要通过大量参数精心设计以捕获雨纹的不同模式。
2、使用欧氏距离进行优化的方法会导致预测模糊（即每像素损失与人类视觉感知输出图像与GT图像之间的感知差异不一致）。
3、资源有限的模型无法满足去雨需求多样性（即复杂雨图难以通过简单模型完成处理）。

本文主要思想：

1、每个模块配置了全局快捷方式用于残差预测。
2、通过将预测的残差从较浅层连接到较深层实现了跨层信息传递。
3、对各个中间输出进行了有意识地监控以确保数据完整性。
4、基本去雨功能基于一种具备完善快捷路径策略的设计理念，并在此基础上实现了网络参数减少但性能依然出色的目标。

主要创新之处：

1、构建了一个独立且可分离的网络结构来应对多种情况。通过将浅层模块的负残差特征传递至深层模块以获取雨纹负残差，并根据不同应用场景划分出专门的小模型以满足特定需求。
2、引入了复合损失函数对所有中间结果以及最终重建进行监督，并整合得到最终重建。
3、分析ResGuideNet在其他基础视觉任务中的应用潜力，并探讨其重建图像如何辅助目标检测等后续应用。

主要网络结构：

有一人一意认为画质欠佳，在使用线段表示各模块之间的连接时不够直观

具体实现：

1、残差特征复用

为了应对反向传播中的梯度消失问题, 人们开发了一种shortcut方法来增强深度残差网络中的梯度稳定性. 基于假设残差映射比原始未引用映射更容易学习后, 则残差网络成功地学习了几层堆叠的残差映射. 这样的策略后, 则深层神经网络变得容易训练, 并且ResNet在各种任务中展现了卓越的性能. 同时开发了一种将特征图从上到下进行密集连接的方法, 并且该方法不仅减少了模型参数数量, 并且还缓解了梯度消失问题. 该技术可能被视为无需重新学习冗余特性的方法.

在本文中，我们通过全局残差学习方法，在每个模块上配置了大量捷径以简化网络架构。

位于本网络框架图中

2、递归计算

在每个递归单元，采用两个卷积操作。

为了解决梯度消失问题, 将初始特征提取Conv+LReLU结构得到的输出特征图集合传递给所有递归单元的所有输出。

这里主要在网络结构中体现在模块内的递归计算中。

3、Inter-block Ensemble
模块内集成：

前人探讨了整合学习的思想，在集成学习中融合预测器而非选择单一的预测器；这种技术也已被应用于神经网络领域以提升性能。在一种简单的集成方案中将一组神经网络进行融合，在其平均结果的基础上对最终输出进行预测。

本文则将每个块的中间输出进行综合和结合处理, 实现最优重构的同时通过连接完成聚合. 在网络结构中则集中体现于最终merge模块那里.

4、整体网络架构

5、损失函数

因为雨纹常与物体边缘及背景场景共存，在仅依赖L2损失函数进行优化时难以准确区分雨纹特征与物体结构组成元素而导致重建结果模糊

如果ResGuideNet包含M个block，则包含M+ 1个损失函数：

其中L_Merge代表前一阶段的所有中间结果的最终融合重建损失，并具有相同的结构或计算方式于L_Bk