读《Multi-level Wavelet-CNN for Image Restoration》
Multi-level Wavelet-CNN for Image Restoration：MWCNN
- 摘要
- 一. 介绍
- 二.相关工作
- 三.方法
摘要
存在的问题：
- 在低层次的视觉处理任务中,如何实现感受野尺寸与处理效率的最佳平衡成为一个核心问题;
- 一般通过以牺牲计算资源的方式扩大感受野的规模。
解决办法：
采用膨胀卷积取代传统卷积机制以扩大感受野；该方法的不足之处在于其采用棋盘式采样策略对输入图像进行稀疏采样操作，在处理过程中会导致输出出现明显的网格状 artifacts（ artifacts）。
本文提出的方法MWCNN：
在此优化框架的基础上巧妙地采用了小波变换技术来降低压缩子网络中的特征维度。
通过精简神经网络结构设计，在压缩层中实现了通道数的有效缩减。
在扩展级联结构中运用了逆向小波变换技术以恢复高分辨率的空间信息。
效果：
- 该方法已被广泛应用于图像恢复领域的多样化的任务中；
- 该方法可被视为基于膨胀滤波与子采样的基础构建而成；
The paper introduces an innovative multi-level wavelet-based convolutional neural network (Wavelet-CNN) for image restoration. The proposed approach reaches state-of-the-art performance in diverse image restoration tasks by effectively utilizing the multi-scale characteristics of wavelets and the computational power of deep learning.
一. 介绍
图像恢复：
- 主要目标是基于质量退化的图像y进行干净图像x的重建；
- 传统方法主要采用基于先验建模与鉴别学习的策略；近年来，在图像修复相关领域中应用广泛的卷积神经网络（CNNs）取得了显著成果；
为什么CNN在图像恢复领域比较受欢迎？
- 采用CNN的方法在某些图像恢复任务中的效果显著优于传统方法，并展现出显著提升；
- 研究表明可以将现有的基于CNN的去噪器引入基于模型的优化方法以有效解决更为复杂的图像恢复任务。
基于CNN进行研究：
随着感知范围的扩大，在图像空间中所涵盖的内容会更加丰富，在这种情况下能够提取出更具层次感的空间特征信息；通过扩大感受野能够显著增强模型对图像细节的关注程度
在输入与输出图像之间保持一致尺寸通常是必要的；为此，在许多应用中采用无池化层的全卷积神经网络（FCN）是一种有效的策略。
基于此，我们可以采用加深网络结构或增大卷积核尺寸来扩大模型感受野；然而显而易见的是这种策略虽然有效但会导致计算开销显著增加。
通过膨胀卷积技术替代传统卷积操作来显著扩展感受野范围；该方法的主要弊端在于其基于棋盘式采样的稀疏采样策略会导致处理结果出现明显的网格效应。
一般情况下随着感受野扩大伴随相应的网络性能也会有所提升值得注意的是这种推论可能存在例外情况（FSRCNN）。因此在增大感受野的过程中需要综合考虑如何既不增加计算成本又不忽视性能提升的可能性。
Multi-level Wavelet-CNN for Image Restoration：MWCNN
- 目标：提升模型的感受野，在提升模型性能的同时兼顾效率进行优化设计；
- 基于改进型U-Net框架整合了压缩分支与扩展分支；其中MWCNN创新性地将小波变换替代传统池化模块；
- DWT作为一种可逆变换技术，在降维过程中能够确保所有原始信息不丢失；其能够有效地提取多尺度和精确的位置信息；
- 在融合各层压缩与扩展模块特征图时采用了逐元素叠加策略；通过小波逆变换将低分辨率特征重构至高分辨率空间以增强细节捕捉能力；
- 该方法通过逐元素叠加策略实现了各层级特征的有效融合；同时巧妙地平衡了计算开销与表征能力之间的关系以达到整体性能提升的目的。
本文贡献：
- 开发了一种名为MWCNN的新网络架构，旨在扩大感受野的同时实现更为平衡的网络性能与网络效率优化；
- 肯定了小波变换（DWT）在空间—频率域定位方面的卓越特性后可知，在此架构下该网络能够更好地保存纹理细节信息；
- 将MWCNN应用于多种图像恢复任务后发现其表现均达到较高水平并具有显著的高效可靠性；
二.相关工作
- 前人的研究表明（如WaveResNet、DWSR），证实了将离散沃尔什变换（DWT）应用于卷积神经网络（CNN）能显著提升其学习效果。
- 前人的工作通常只考虑一级的小波变换，并忽视了不同子频带间的相互作用。
- 本文提出了一种称为多尺度卷积神经网络（MWCNN）的方法，在综合运用多级的小波变换的基础上实现了信息完整性。此外，该方法能够灵活地嵌入到基于池化层的任意卷积神经网络架构中，并有效建模了空间上下文以及各子频带间的相互关系。
三.方法
WPT VS MWCNN：
MWCNN受多级小波变换（WPT）的启发，引入CNN搭建；
WPT采用二级小波变换，MWCNN在WPT基础上引入CNN块；
在进行每级小波变换后引入一个卷积神经网络（CNN）块，并将该变换过程所得到的子带信号作为该CNN模块的输入数据；随后将此模块输出的结果作为下一阶段小波变换的操作起点；
从整体上来看,MWCNN结构可被视作一种通用模式,其核心原理在于当所采用的CNN块被设计成一致性映射关系时,MWCNN系统便完全等同于传统的Wavelet Packet Transform (WPT)架构；换句话说,当特定条件下,MWCNN便退化为典型的WPT模型；
基于改进型U-Net架构设计出骨干网络,该网络主要由编码器模块、降采样模块、解码器模块以及上采样模块四大部分构成;其中编码器模块由多层卷积神经网络构成,负责提取图像的空间特征信息；
通过引入多尺度特征融合机制和优化后的连接方式,在保持传统U-Net优势的同时实现了对细节捕捉能力与计算效率的双重提升;
分解阶段采用二维离散小波变换（DWT）进行二维下采样操作，并完成池化功能； 重构阶段则利用逆二维离散小波变换（IWT）结合卷积神经网络进行特征重建。
网络结构：
该网络架构采用无池化设计，并由4层深度可分离卷积（FCN）模块构成。
每次完整的卷积操作依次经过3×3的卷积层、BatchNormalization层以及ReLU激活函数。
值得注意的是，在扩张子网络的最后一级卷积模块中仅执行标准卷积操作而不包含BatchNormalization和ReLU激活。
整个网络总计包含24个独立的网络层。
MWCNN算法默认采用Haar小波基函数作为变换核。
MWCNN对U-Net做的改进：
在U-Net架构中，降维操作与升维操作分别被小波变换（DWT）和反小波变换（IWT）取代；
在MWCNN网络中，在初始卷积模块中实现了特征通道数量的提升，在后续各卷积模块则逐步缩减了特征通道的数量，并通过元素级加法实现了同层压缩 subnet 与扩展 subnet 特征信息的有效融合；
通过A+B残差连接的方式实现了同层压缩 subnet 与扩展 subnet 的特征图信息的有效融合。
损失函数：
在本研究中，
xi代表真实干净图像（即标注信息），
yi代表退化图像（即输入数据），
而F(y_i,\theta)则表示网络输出结果，
其中\theta是模型参数。
疑惑于右下角这个F所代表的具体意义究竟是什么？
为什么小波变换能够达到降采样效果？其池化操作又如何实施？考虑二维 Haar 小波基为例，则其具有四个基本的滤波器组：具体而言，则由以下四组滤波器构成：其中 h1、g1 代表水平和垂直方向的一阶细节系数；h2、g2 则对应二阶细节系数。
采用fLL机制时，在处理图像数据时类似于卷积操作，在特定位置进行累加处理。具体而言，在经过一次处理后，原本尺寸为4 \times 4的特征图会被缩减至2 \times 2的空间维度。随后通过IWT反向操作完成上采样步骤，并将原始低分辨率图像恢复成高分辨率版本。
为什么DWT能够近似模拟膨胀滤波的作用并扩大感受野？
在深度学习模型中，为了模拟高斯池化（Gaussian Pyramid）的效果而引入了DWT（离散小波变换）。具体而言，在标准深度网络中使用的是标准池化层：通过下采样机制降低特征图的空间维度。然而，在这种新架构中：
- 传统的高斯池化通常采用多个尺度的金字塔结构来捕捉不同尺度的空间信息；
- 而DWT则通过多层分解的方式提取不同频次的信息；
- 在这种架构中：
- 首先对输入特征图应用小波变换以分解信号；
- 然后通过多分辨率分析获得不同尺度的空间表示；
- 最后结合这些多尺度的信息构建最终的表征；
这种设计不仅保留了空间信息的重要性和层次性还能有效提升模型对复杂模式的捕捉能力。
上图中的公式如同下图所示的例子进行理解，并非重点在于作者采用了从1开始的索引方式而我在本研究中采用的是从0开始的索引方式其中x₁代表对输入图像x经过fLL滤波后的输出结果每个像素点在原图中对应四个相邻区域
