Advertisement

2017-SIGGRAPH Asia-Cambridge-(HDRCNN)HDR image reconstruction from a single exposure using deep CNNs

阅读量:

在2017 SIGGRAPH Asia Cambridge会议上进行的 HDR 图像重建研究中,在单次曝光条件下利用深度卷积神经网络(CNN)实现了高效的图像重建。

2017 SIGGRAPH Asia Cambridge HDRCNN: High Dynamic Range (HDR) Image Reconstruction from a Single Image Exposure Employing Deep Convolutional Neural Networks

利用带有skip-connection结构的深度神经网络实现从SDR到HDR的转换过程。进一步利用CNN识别出亮度饱和区域,并结合低动态范围(LDR)图像生成高动态范围(HDR)图像。

基于编码网络的处理,LDR图像的空间特征被提取出来;经由解码网络,在对数域中完成HDR图像的重建过程;最后,则通过引入skip-connection机制,在编码与解码环节之间实现了有效的信息传递,在细节重建方面展现出更高的性能效果。

鉴于现有的HDR数据集数量相对较少,在应用迁移学习技术时,我们首先采用MIT Places数据集生成的HDR图像来预训练网络参数,并在此基础上利用这些有限的真实HDR图像进一步优化模型。

传统方法在重建过曝和欠曝像素区域表现不好。

该种 HDR 方法在多种场景中能产生高质量的结果,在恢复亮度与饱和度像素区域方面表现突出。然而,在颜色域方面的扩展缺乏针对性。

该研究采用了自定义的数据集。
在该研究中涉及的最终训练阶段总共收集了:

  • 1,121张HDR超分辨率图像和67个HDR视频样本;
  • 95张HDR超分辨率图像和4个HDR视频用于测试验证;
  • 其余的作为训练数据集。
    对于视频序列部分,在每隔10帧抽取一张图片,并结合固定场景下的静态图片,
    总共获得了3,700张HDR超分辨率图像。
    通过虚拟相机技术对数据进行了扩展至约125,000条样本。

统计图表:
Places 2.5M 预训练600K
Flickr 200K

OpenEXR格式

视频数据集链接:

Ronan Boitard(个人全名)拥有详细的学术和个人网页(个人网页链接),并提供完整的个人简要介绍(个人网页链接)。

HdM-HDR-2014(189GB TIFF files)
https://hdr-2014.hdm-stuttgart.de/

A unified framework for multi-sensor HDR video reconstruction

参考文献
This paper discusses the advancement in HDR image reconstruction techniques, specifically highlighting the application of deep convolutional neural networks (CNNs) for HDR image reconstruction from a single exposure.

代码
https://github.com/gabrieleilertsen/hdrcnn

Skip connections are a mechanism for jumping over layers within a neural network. Within the ResNet architecture, residual blocks are introduced to address the vanishing gradient problem and prevent model degradation. Compared to conventional CNNs, residual networks add shortcut connections that bypass intermediate layers, enabling identity mappings. These shortcut connections allow the network to maintain the original input when passed through a residual block. The latter is commonly referred to as skip connections or shortcut connections.

条件随机场(Conditional Random Fields, 简称CRF)是一种基于输入序列对输出序列的概率模型,在自然语言处理领域具有广泛的应用。
当进行标注数据时,可以考虑前后数据的信息。这种特性是普通分类器所不具备的,并且这也是CRF相对擅长的地方。

相机响应函数CRF
https://www.cnblogs.com/qiqibaby/p/8747336.html

虚拟环境 hdrcnn

无法找到一个符合要求的版本号。
将Python版本从3.7改为3.6。

全部评论 (0)

还没有任何评论哟~