读文章：Efficient Dynamic Scene Deblurring Using Spatially Variant Deconvolution Network with Optical Fl

为了准备这篇CVPR2020的文章进行演示，在计算机视觉技术课程的需求下, 我决定将其作为讲稿, 并辅助准备一份学习笔记以便与大家分享。

任务和创新点

可以从文章标题入手，在分析文章标题的过程中，我们可以挖掘出其致力于的方向以及主要的创新点。

• 方向：动态场景去模糊
  • 创新点：基于空间变换机制构建的空间反卷积网络模型 & 通过光流信息辅助优化训练过程

即所谓的动态场景去模糊即是专业的图像去模糊技术能够去除图片中的运动模糊现象也就是将拍摄失焦的照片恢复回来如图所示在左上方展示的是原始图片在右下方展示的是本文提出方法效果图其余则是现有技术所取得效果对比

尽管看上去效果无明显差异, 但该方法的主要优势在于运行速度极快. 传统的算法通常需要数秒甚至数分钟的时间来完成任务处理工作; 相比之下, 本方法只需微不足道的0.01秒即可完成同样的任务. 这一优势归功于它所提出的基于光流引导的反卷积网络设计.

空间变换的反卷积网络

也被认为是文章中的Spatially Variant Deconvolution网络。
在现有的去模糊方法中，则被假设为：所有这些方法都基于以下共同特点：将所有被观测到的图像视为由同一清晰图像通过特定变换（如卷积操作）所生成。

该方法可表示为：

b = Ks + n

其中，
b 代表模糊图像，
s 代表原始图像，
K 被称为模糊矩阵（即模糊核），
n 代表噪声干扰。
现有去模糊方法主要包括以下三种：

• 手工设计的手法（Hand- Craft）用于求解参数K时存在不足之处
  • 基于深度学习的方法（Deep Learning Based Methods）能够高效地估计未知量s，并且在精度上表现优异
  • 反向工程过程的方法（Deconvolutional Neural Network）的一个主要局限性是仅适用于具有一致运动模糊的情况

其中，在本文中采用的是基于Deconvolutional Neural Network的技术对K矩阵进行逆向变换操作；该技术用于恢复由于模糊导致像素位置发生偏移的情况。

我们将模糊图像被视为清晰图像进行卷积运算所得的结果。其过程即为反解算过程；实现这一过程的神经网络即为_反卷积网络_。

过去处理速度较慢的现象主要归因于卷积核的设计上。运动造成的模糊具有方向性特征这一特性因图像而异，在实际应用中表现尤为明显。
参考如下的具体案例：其中红框中的女孩图像显示为自右向左的运动轨迹；蓝框中的男孩图像则显示为自前向后的运动轨迹。

表明，在进行反卷积操作时，小女孩所在区域的像素与小男孩所在区域的像素所需移动的方向存在差异。而传统的卷积核要想实现通过相同的滤镜实现多方向变化，则必须经历大量计算过程。

表明，在进行反卷积操作时, 小女孩所在区域的像素与小男孩所在区域的像素所需移动的方向存在差异. 而传统的卷积核要想实现通过相同的滤镜实现多方向变化, 则必须经历大量计算过程.

因此，在针对因卷积核而产生的耗时成本问题上, 本文提出了一种变形卷积核的方法. 如图所示, 在视觉上能够直观展示这一技术特点, 并且一看就能理解其工作原理.

然而变形卷积核的训练方式与传统方法有所不同它采用了全新的架构以计算出一个特定的方向向量随后将该方向向量与原始图像分别作为两个不同的输入通道传递给神经网络

光流引导训练

既然已经解决了卷积核问题，则如何确定变形卷积核的方向？答案采用的是光流技术，并利用该技术预测模糊卷积核。本文所采用的光流算法为DIS光流算法，在计算上表现优异，在毫秒级的时间内即可完成相关运算。这一特点使得本文的整体计算效率得以显著提升。具体思路总结如下：

实现

网络如下：

该网络划分为四个组成部分：绿色梯形块代表核心骨干网络；其上层架构为分支型连接；下层次连接架构则采用常规拓扑配置；此外还包含一个全局跳接连接以确保数据传输路径完整性。核心骨干网络在图中被简略呈现；

空洞卷积核作为骨干网络的核心元素，在保持图像尺寸不变的情况下扩大了观察范围。其显著优势在于仅经历一次下采样过程即可降低后续重建过程的复杂度，并无需增加后续处理所需的通道数量。该网络通过多级特征提取模块成功分离出雾状模糊特性和目标细节特征，并将这些关键信息分别传递给上层分支模块与下层分支模块进行进一步分析。

上枝使用所有采样点对光流的距离的均值作为loss：

从公式中揭示使用了两个光流图。论文中详细说明了这两个光流图分别对应于当前帧与前一帧以及后一帧的光流图。

实验过程和结果

该部分内容详细阐述了所采用的数据集、实验方案及其与现有方法之间结果进行对比分析的过程。

从效果来看，则不相上下；但在速度上却存在显著差异——较之其他方案而言，则快出35倍。针对最初提出的方案而言，在运行相同数量的图片时则需耗费12分钟；而文中所提的方案仅需0.01秒。

此外还证明了自己所使用的创新元素（主干网络、变形卷积、光流）的必要性：

这么一看，一个也不能少，少一个质量就会下降。

最后，奉上效果图：