Burst Image Restoration and Enhancement 论文笔记

前言

burst image restoration task（突发图像恢复任务）旨在解决手持设备操作不稳或运动过程中的成像模糊及虚影现象问题。论文所提出的方法能够整合多帧模糊成像数据并重建出高质量的图像以实现去模糊效果。该研究方法已在图象超分辨率重建低光环境下的圖像增強以及降噪實驗等應用場景中得到验证均取得了显著成果。本研究的创新重点体现在以下三方麵：一是构建了一个多帧邊缘增强與校準机制用於去除 imaging data中的模糊影響；二是設計了一種基於多帧特徵的融合模塊以提高重建精度；三是引入了一種自適應分組上採樣模塊用於漸進式 fusion並進一步提昇性能

网络结构

该网络由多个阶段构成，并主要包含三个核心环节：首先是针对多帧模糊图像实施降噪处理；其次是针对多帧图像进行特征提取和融合；最后则通过上采样技术实现超分辨率重建。

Edge Boosting Feature Alignment Module

如图所示，在整个去噪校准模块中存在一个关键子模块（FPM），它承担了模型去噪的任务。该子模块的主要功能仍由卷积神经网络（CNN）实现，并构成了系统的核心组件

Pseudo-Burst Feature Fusion Module

图像的Feature Fusion技术本质上是通过预处理后的高质量图像序列执行Feature Fusion操作。其核心过程是基于每幅图像进行二维向量分解，并构建与其相关的伪突变型Feature Map。随后通过多层次的空间聚合整合各层次细节信息以完成最终的Feature Fusion整合。

Adaptive Group Upsampling Module

上采样模块的主要目标是从低分辨率的特征图中生成高分辨率的图片。 上图b即为AGU模块，在每经过一层后, 每个上采样单元(如图c所示)将特征划分为四个部分, 通过卷积运算并对各部分进行叠加处理来生成最终的高分辨率图像。

实验

实验部分主要包含三个方面，在其中一项是对超分辨问题展开研究，在另一项则是针对低亮度增强技术进行深入探讨，在最后一项则致力于降噪技术的研究。

超分辨

以下是改写后的文本内容

低亮度增强

SID数据集包含在微弱光照条件下通过短时间相机曝光捕获到的原始爆炸图像与其相应的地面真实sRGB图像集合。该集合中的SONY子集具体包含了161个用于训练的数据片段、20个用于验证的数据片段以及50个用于测试的数据片段。研究中仅采用了单层结构的AGU架构是因为该任务的主要目标在于实现低复杂度的解决方案。

突发帧降噪

在原始图像上加入一定的高斯噪声，进行训练验证。

超分辨消融实验

在对各模块的重要性进行系统评估的基础上展开多维度对比分析，在实际应用中发现DAM和AGU在PSNR性能方面具有显著影响。针对当前研究局限性，在第二个消融阶段采用了替代方法进行验证，在现有条件下目前尚无法超越BIPNet结构所展现出的性能优势

总结

本文提出了一种多阶段方法来应对由手持设备或运动引起的多帧图像模糊问题。该方法不仅能够去除图像噪声并增强低光环境下的亮度，还能够实现超分辨率重建。与传统直接基于单张图像超分辨率处理的方法不同，在本模型中输入是多个连续拍摄的当前帧图像，并且这些帧之间需要存在一定的时间关联性。与之相比，在输出效果上本模型确实表现更为出色。尽管文中提到模型参数规模较小，但从架构设计上来看其复杂程度不言而喻——分为了三个独立的功能模块：首先是预处理阶段，在此过程中会对原始输入进行降噪和平滑化处理；其次是特征提取阶段，在这一环节将通过自编码器结构提取出高质量的特征表示；最后是重建阶段，在此过程中则会通过先进的上采样模块将提取到的特征逐步还原至高分辨率水平。值得注意的是，在模型训练过程中采用了对比学习策略以提升整体性能表现——具体而言是将网络输出与其 teacher 标签之间的差异作为优化目标函数的主要依据之一。此外文中对于算法原理阐述较为简洁不够深入，在实际应用中还需结合源码进一步理解其工作机理和优化空间