【论文阅读】MBLLEN: Low-light Image/Video Enhancement Using CNNs
发布时间
阅读量：
阅读量
关键词
低光照图像/视频增强算法、多尺度特征融合、BMVC 2018
论文地址、项目地址
网络结构
MBLLEN由三种模块组成，即特征提取模块(FEM)、增强模块(EM)和融合模块(FM)。其思想是：通过有限元方法提取不同层次的丰富特征；通过EM分别增强多层特征；通过FM多分支融合获得最终输出。
- FEM：10个卷积层（3x3卷积核、步长为1、激活函数是ReLU、无池化操作），前一层的输出为下一层的输入
- EM：10个子网（[3x3卷积核、步长为1、ReLU]、三层卷积+三层反卷积[5x5卷积核、步长为1、ReLU])，每一层输入为对应层FEM输出
- FM：将EM的所有输出在颜色通道上连接，并使用1x1卷积核进行合并
处理低光照视频增强问题时，网络需进行如下改动：
- FEM第1层输入为31帧的低光照视频，使用16个3x3x3的卷积核进行3D卷积，前一层输出的前三个维度被送入EM，其余维度输出被送入下一层FEM
- EM进行3D卷积
- FM使用原始视频作为附加输入
Loss
作者提出一种新的损失函数：Loss = LStr + LVGG/i,j + LRegion
结构损失：改善视觉质量（例如模糊效果、伪影）、思路来源LLCNN
在这里使用了简化的SSIM算法：
其中，μx、μy是像素平均值， σx2 、σy2
是方差，σxy是协方差，C1 、C2是防止分子、分母为0的常量。
内容损失：关注高层次信息、思路来源SRGAN、基于预训练的VGG-19的ReLU激活层（第3块第4层卷积）输出定义
其中，E、G分别代表增强图像和Ground truth，Φi,j是 j-th convolution layer in i-th block in the VGG-19 Network
区域损失：平衡低光照区域和其他区域的增强程度，抽取40%最暗的像素区域
数据集
PASCAL VOC的16925张图片合成数据 [下载地址]（提取码：ayo0）
训练细节
5000 mini-batches（24 patches、256x256x3）、输入像素值被缩放至[0,1]、ADAM优化器训练（α = 0.002, β1 = 0.9, β2 = 0.999 and ε = 10−8）、学习率衰减策略（95%）
结果对比
LOL数据集
全部评论 (0)
还没有任何评论哟~