【图像复原MWCNN】Multi-level Wavelet-CNN for Image Restoration

该论文提出了一种多级小波卷积神经网络（Multi-level Wavelet-CNN）用于图像复原的方法（MWCNN）。该方法结合了小波变换（DWT）和卷积神经网络（CNN），通过将DWT分解后的子块分别输入不同的CNN层来提高模型性能。与普通卷积网络相比，MWCNN能够有效平衡接收域大小与计算效率之间的权衡关系；与空洞滤波器相比，在不显著增加计算复杂度的前提下显著提升了模型对空间上下文和子带间依赖性的建模能力。实验结果表明，MWCNN在图像恢复任务中表现优异，在测试集上的PSNR值显著优于现有方法。这种方法不仅减少了计算复杂度，还提升了模型性能，在图像复原任务中展现出较大的优势。

1、基本信息

Liufei P., Zhang Hexiang H., et al., Zhang Kai K. proposed the Multi-level Wavelet-CNN-Based Image Restoration Technique in their work presented at the 2018 IEEE at Salt Lake City, UT in the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW): pp.

关键词 ：卷积神经网络， 小波变换，图像复原

代码 ：https://github.com/lpj0/MWCNN

2、核心内容

（1）主要内容

接收野的大小和效率之间的权衡是低水平视觉的一个关键问题。

普通卷积网络 ：通常会以计算成本为代价增大接收域。

空洞滤波：受到网格效应的影响，在输入图像中形成的响应区域仅限于非连续采样的稀疏结构以及具有棋盘式分布的图案。

作者成功地将卷积神经网络（CNN）与离散小波变换（DWT）进行了融合，并采用无损降采样的方法实现信号的高效处理。多尺度卷积神经网络（MWCNN）能够灵活地将DWT嵌入到各种基于池化的深度神经网络架构中，在捕捉空间上下文关系的同时展现出更强的跨子带依赖性建模能力。

（2）提出的框架

作者采用了将DWT分解后的各个子块纳入到CNN网络中的方法；如果对每个子块分别进行配置，则可能导致各个子块被单独处理而不利于整体性能的优化。

（3）作者结论

3、图表信息

MWCNN表现出了较大的优势，时间复杂度和性能均较好。

4、补充说明

（1）引用观点

The DWT is capable of capturing both the frequency and position information within feature maps [12, 13], which may prove to be beneficial in accurately preserving the detailed texture.

（2）结论记录

作者研究表明，在图像恢复任务中，所提出的基于小波变换网络的方法展现出更强的能力。与传统池化层及可学习的卷积滤波器相比，在性能指标上具有显著优势。

可以将DWT（小波变换）用于CNN网络中的池化，以提高模型性能。