论文阅读笔记（DPIR）:Plug-and-Play Image Restoration with Deep Denoiser Prior
Plug-and-Play Image Restoration with Deep Denoiser Prior
论文地址：https://arxiv.org/abs/2008.13751
代码地址：https://github.com/cszn/DPIR
目录
-
Plug-and-End-to-End trainable Image Restoration with Deep Denoising Prior Model
- Abstract
- 图像退化模型：
- 该研究提出了一种基于深度去噪先验的图像修复方法。
- 通过端到端可训练的架构实现了高效的去噪效果。
- 实验结果表明该方法在图像恢复方面表现优异。
- 图像退化模型：
- Abstract
-
Introduction
-
- 思想概述
- 当前基于即时插入的IR算法存在的主要问题：
- 方法论上缺乏系统性
- 在复杂场景下的适应性不足
- 缺乏对数据特征的有效利用
- 研究动机：
- 针对上述不足，本研究提出了一种新的解决方案
- 研究目标与创新点：
- 本研究不仅在方法论上有所创新，在应用效果上也取得了显著提升
-
Methodology
-
半二次方分割法（HQS）：
- CNN Denoiser:
- 周期几何自整合策略:
- DPIR algorithm:
- 参数配置项：
Abstract
目标
目前缺乏合适的先验降噪器，阻碍了即插即用图像恢复的性能。
本文思路：
图像退化模型：
𝐲=𝒯(𝐱)+𝐧
其中，𝒯为噪声不相关的退化操作，𝐧为标准差为𝜎的加性高斯白噪声。
- 在𝒯执行恒等操作时，默认情况下逆推过程对应的是降噪任务。
- 若将𝒯设定为2D卷积层，则逆推过程对应的图像修复目标是去模糊。
- 当𝒯涉及多级卷积下采样结合重建层时，默认情况下逆推过程对应的图像是高分辨率重建。
- 在彩色图像采集系统中使用CMF（彩色滤波阵列）进行masking处理时，默认情况下逆推过程对应的修复目标是恢复完整色彩。
Introduction
即插即用IR算法思路：
基于ADMM/HQS变量分裂算法，分别对观测数据和约束条件进行处理；其中，每个约束条件仅对应一个去噪子问题。
目前即插即用IR算法缺点：
- 通过不同类型的降噪器可以在多个噪声级别下实现有效的降噪效果，在特定噪声环境下则可使用专门设计的降噪设备；
- 深度降噪技术的能力有限，并未充分揭示其性能受限的根本原因；
- 对该系统的运行机制进行了初步了解但对其工作原理仍需进一步的实证分析
本文思路：
- 基鉴FFDNet的思想，在输入端采用噪声级别图的前提下，
- 使一个模型能够处理多种类型的噪声情况；
- 提出了一种周期性几何自集成策略，
- 在不增加额外计算负担的情况下显著提升了性能。
- 利用ResNet与U-Net网络架构，
- 提高整体系统运行效率；
- 针对图像去噪问题，
- 开发了一种创新性的周期性几何自适应集成算法，
- 在保证计算开销不变的前提下，
- 显著提升了图像去噪性能。
- 在保证计算开销不变的前提下，
- 开发了一种创新性的周期性几何自适应集成算法，
本文贡献：
- 开发出一种灵活高效的深度卷积神经网络（CNN）去噪器，在性能上超越了现有最先进的深度高斯降噪模块。
- 对于基于HS子波变换的即时可扩展红外成像系统，在系统参数配置、中间运算结果以及经验收敛特性等方面进行了全面深入分析。
- 在图像去模糊、超分辨率重建以及消除马赛克等任务中展现出卓越的能力。
Method
半二次方分裂法（HQS）：
通过替换正则项中的原始变量来引入拉格朗日乘子和二次惩罚项，并以此实现各相关变量间的解耦
\hat{x} = argmin{_x}{\frac{1}{2\sigma^2}\lvert\lvert{y-𝒯(x)}\rvert\rvert^2+\lambda R(x)}
注释：与 IRCNN 的对比中，在数据项部分增加了针对输入噪声级别图的一个 σ² 分母。该分母对应于输入噪声级别图所表示的噪声水平 σ。
引入辅助变量z,将惩罚项中的x替换成z：
目标函数L_{μ}(x, z)由三部分组成：第一部分为(1/(σ²)) \times \| y - 𝒯(x) \|^²；第二部分为λ乘以R(z)；第三部分为(μ/₂) \times \| z - x \|^²
迭代求解：
x_k取值为使\left|\left| y - \mathcal{T}(x) \right|\right|^2 + \mu \sigma^2 \left|\left| x - z_{k-1} \right|\right|^2最小的变量值
z_k=argmin_z{\frac{1}{2(\sqrt{\frac{\lambda}{\mu}})^2}\lvert\lvert{z-x_k}\rvert\rvert^2+R(z)}
将α_k≜λσ^2/σ_k^2代入公式：
x_k=argmin_x{\lvert\lvert{y-𝒯(x)}\rvert\rvert^2}+\alpha_k\lvert\lvert{x-z_{k-1}}\rvert\rvert^2
该公式z_k=argmin_z{\frac{1}{2(\sqrt{\frac{\lambda}{\mu}})^2}\lvert\lvert{z-x_k}\rvert\rvert^2+R(z)}可以被表达为对应于采用噪声水平\frac{\lambda}{\mu}的高斯降噪器对图像x_k执行去噪的过程：该过程旨在找到使得目标函数最小的变量值z_k
z_k=Denoise(x_k,\sqrt{\frac{\lambda}{\mu}})
CNN Denoiser:
像FFDNet一样将噪声级别图和噪声图像输入。
网络细节：
具有四个尺度U-Net结构网络
- 跨步卷积是一种下采样的卷积操作
- 转置卷积用于上采样过程
- 在各个尺度之间设置了恒等跳过连接以实现模块间的并行化
- 所有涉及的卷积层均未配置激活函数
- 每个残差块仅引入了一个ReLU激活函数以避免梯度消失问题
- 网络架构设计中并未引入偏置项以简化计算过程
周期几何自集成策略:
基于翻转与旋转几何自集成：
通过对输入图像进行翻转与旋转变换生成八幅图像，并将这些变换后的图像输入模型以获得相应的恢复图像；从而获得原始图像的逆变换平均结果。
周期几何自集成：
在每一轮迭代中应用一次周期性操作，并避免执行最终的整体平均操作。
注：在源代码中运算流程如下，在迭代次数i%8等于零时会返回原始图像；相反地，在1至7范围内会对其执行不同的翻转和旋转操作。
DPIR算法：
算法步骤：
输入：深度去噪先验模型，退化图像y，退化操作𝒯，图像噪声级𝜎，第k次迭代的去噪先验模型噪声水平𝜎𝑘，平衡参数𝜆。
输出：恢复图像𝑧𝑘
1由y初始化𝑧0，预计算α_k≜λσ^2/σ_k^2
2 k由1到K：
x_k=argmin_x{\lvert\lvert{y-𝒯(x)}\rvert\rvert^2}+\alpha_k\lvert\lvert{x-z_{k-1}}\rvert\rvert^2
z_k=Denoise(x_k,\sqrt{\frac{\lambda}{\mu}})
（使用DRUNet去噪器降噪，应用周期几何自集成策略）
一些设置：
所选数据集包括BSD图像系列的400幅、水loo探索数据库的详细资料共计4744项、具有高分辨率的DIV2K数据集共900个以及Flick2K分蘖数据库包含的2750份材料。
Noise level map是一种与噪声图像大小相同的均匀填充噪声水平𝜎的图像。
在训练过程中，我们随机从0到50的范围内选择噪声级进行训练。
采用Adam优化器以最小化去噪图像与groundtruth之间的L1 Loss（相较于L2 Loss具有更为稳定的特性）
参数设置：
可调节的参数包括惩罚因子𝜇、正则化系数λ以及迭代上限K。
其中迭代上限K由用户自行设定，并需满足以下条件：
噪声级\sigma_k的取值范围设定为[0,50]；
根据经验公式随着\mu_k逐渐增大的规律确定其具体取值：
\mu_{k} = \frac{\lambda}{\sigma_{k}^{2}}
为了确保模型性能优化效果最大化，在验证集上执行网格搜索优化策略来确定最优的λ值（取值区间限定在[0.19, 0.55]）。
注释：变量\sigma_k已预先设定其初始值\sigma_0=49；随后将该值逐步降低至零，并详细信息见图5及表5。
针对不同任务的封闭解：
