Advertisement

[图像超分]--Adaptive Densely Connected Single Image Super-Resolution

阅读量:

请各位指出任何不妥之处,并提出建议。
首先本文的实验结果显示非常出色,在性能上优于包括RCAN、SAN在内的相关方法。
需要注意的是本方法在某些关键参数设置上与现有对比方法存在差异,
其中网络通道数量为128,
而RCAN、SAN等方法均被采用为64通道。
此外本研究中使用的训练数据集包含约3000张图片来自DIV2K和Flickr2K两个数据集,
其中仅采用DIV2K中的800张图片进行训练。
值得注意的是研究者可能未全面考察整个网络各模块协同工作的贡献度,
而是仅单独测试了各模块的有效性。

在这里插入图片描述

摘要:

为了增强单图像超分辨率(SISR)技术的效果,本研究开发了一种新型自适应密集连接(ADCSR)算法,用于提升图像超分辨率表现。该算法架构包含两个关键模块:BODY模块和SKIP模块,分别负责不同层次的信息提取与融合过程。本方法通过动态调整自适应密集连接机制,增强了卷积层对特征信息的提取效率,并在此基础上设计了一个可变亚像素重建层(AFSL)。随后对SKIP模块进行了系统性预训练,该过程促使BODY模块能够更有效地提取高频细节信息,从而实现了整体性能的最大化提升。通过对多指标评估(如PSNR值、SSIM指数等)以及主观视觉测试全面验证后发现,所提出的方法在现有技术中表现最为突出

正文:

一、动机部分:

  1. 相较于ResNet的残差结构而言, DenseNet展现出更好的性能.
  2. 通过引入WDS和AWSRN中的全局跳连接机制, 能够使得主体网络能够更加集中地学习高频特征.

二、ADCSR:

在这里插入图片描述

以图所示的网络架构主要分为两个部分: SKIP组件与BODY组件两大部分构成。 其中SKIP组件采用像素打乱技术(pixel shuffle),其作用是为输入图像的低频特征提供辅助通道; 这一设计使得BODY组件能够更加有效地学习高频率细节。 在BODY部分中,则是由多个ADRU组件通过全局特征融合模块(GFF)进行整合; 后续将引入上采样模块(AFSL)完成细节增强过程。 以下将详细探讨网络中的各个关键组件: ADRU、ADR-B以及AFSL等核心单元的工作原理与设计特点。

在这里插入图片描述

1)ADRU(adaptive dense residual units):
每个ADRU包含4个ADRB单元之后紧接着接了一个LFF融合模块,在其设计中采用的是自适应式的密集连接方式与Dense结构相似,并且两者的区别在于权重参数是由网络本身进行自适应学习的。

2)ADRBs (adaptive dense residual blocks):
每个ADRB由四个卷积单元构成,在其连接方式与前述一致均为自适应权重密集连接的基础上,并附加了一个LFF(Local Feature Fusion)局部特征融合模块。每个Conv单元的设计借鉴了WDSR中的创新方案,在经过激活函数LeakyRelu前的卷积操作将输入信号放大至原始通道数量的三倍之后,在随后被缩减回原始通道数量。

3)AFSL(Adaptive subpixel reconstruction layer):
传统的pixel shuffle机制通常由一个卷积层后紧跟一个shuffle层构成,在本设计中则采用了四个不同尺寸的卷积核作为并行模块分别处理信号,并通过融合机制整合输出以提升重建精度。其架构灵感来源于Inception网络的设计理念,在多尺度特征提取方面具有显著优势。

三、实施细节
SKIP模块中的Conv+Shuffle结构采用了5×5的卷积核尺寸设计;在AFSL模块中设置了四个不同尺寸的卷积核(分别为3×3、5×5、7×7和9×9),以适应多尺度特征提取的需求;该网络架构包含四个ADRUs模块;为了提高模型性能,在特征提取层、卷积单元、LFF和GFF均采用了128个输出通道;其中在AFSL模块中设置了四个不同尺寸的亚像素卷积层,并通过深度聚合得到最终输出的三通道特征图。

实验结果:

1.Adaptive dense connections,验证了Adpative的有效性

在这里插入图片描述

2. Adaptive subpixel reconstruction layer (AFSL)的性能表现出色;Sub-conv及AWMS结构可在图中找到对应示例

在这里插入图片描述

3.SKIP预训练的有效性

在这里插入图片描述

试着解读这张图所表达的意义。其中Spectrogram被定义为图像的光谱图(不太清楚它的具体作用)。经过SKIP预训练后,BODY OUTPUT几乎都是高频信息;而低频信息则全部来自SKIP OUTPUT。对比实验中展示了不同训练策略下的收敛曲线趋势。

在这里插入图片描述

4.与SOTA算法效果对比

在这里插入图片描述

全部评论 (0)

还没有任何评论哟~