Advertisement

Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks

阅读量:

出自TPAMI2019的论文版已发布于CVPR2017(Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution)

主要的工作涉及逐步构建多层次的高分辨率图像子带残差恢复过程,在低分辨率输入特征的基础上捕获细节信息。我们采用了Charbonnier损失函数(有助于提升模型对异常值的鲁棒性),并通过递归机制共享各层次间的参数信息。

网络结构:

上采样因子是S的话,则金字塔总共有

log_{2}S

层,模型主要包含两个分支:特征提取和图像重建模块

特征提取分支涉及(1)一种特征嵌入子网络用于将高维非线性特征图转换为更适合后续处理的形式;(2)一种转置卷积层用于捕获并放大尺寸为原始数据两倍的特征信息;(3)一个卷积层用于预测子带残差图片中的细节信息。第一个金字塔层级包含一个额外的卷积操作以捕获低分辨率输入图像中的高维特征表示。

特征重建分支就是将残差图像与上采样的图像按元素相加,逐层迭代。

特征嵌入子网络:

之前提出的LapSRN在上采样尺度扩大时会增加参数量,在实际应用中为了降低计算复杂度主要通过两个途径来优化网络结构:

在金字塔不同层级之间实现参数共享的情况下,则由此可知网络的参数数量不受上采样比例的影响;如图三所示。

第二个采用的是金字塔层内各模块间的参数共享策略,在不增加额外参数的前提下,通过深度递归结构实现特征嵌入子网络的扩展过程,并显著提升了整个网络模型的深度水平。具体而言,在各个递归块之间实现了卷积层权重值的有效共用机制。

在金字塔层级的每个部分中,在特征嵌入子网络拥有R个递归块的情况下,在每个递归块中有D个多样化的卷积层存在时,则L等于

log_{2}S

,则网络的深度是

在特征嵌入模块中, 为了避免出现梯度消失现象以及出现梯度爆炸的情况, 本研究采用了基于局部残差学习的一种改进机制.

本文中作者采用了第三种结构。

损失函数:

是Charbonnier惩罚函数,L1范数的可微变种。

多尺度训练: 2X, 4X, 8X

全部评论 (0)

还没有任何评论哟~