Deep Retinex Decomposition for Low-Light Enhancement 论文阅读报道
2022/04/29-05/03
- Retinex 理论
- Retinex-Net for Low-Light Enhancement
-
- 网络结构
- 损失函数
- 数据集
- 实验结果
- 结论
Retinex 理论
-
理论基础
- 真实世界是无颜色的，我们所感知的颜色是光与物质的相互作用的结果。我们见到的水是无色的，但是水膜（肥皂膜）却是显现五彩缤纷，那是薄膜表面光干涉的结果；
- 每一颜色区域由给定波长的红、绿、蓝三原色构成的；
- 三原色决定了每个单位区域的颜色。
-
内容
- Retinex 理论的基本内容是物体的颜色是由物体对长波（红）、中波（绿）和短波（蓝）光线的反射能力决定的，而不是由反射光强度的绝对值决定的；物体的色彩不受光照非均性的影响，具有一致性，即Retinex理论是以色感一致性（颜色恒常性）为基础的。
Retinex-Net for Low-Light Enhancement
网络结构
网络可以分为3个部分， decomposition, adjustment and reconstruction
-
Decomposition: 将图片分解为reflectance和illumination两部分。
- 输入：正常亮度图\bm{S}_{normal}和低光照图\bm{S}_{low}。
- Decom-Net：每次分解两种不同亮度的图片，权重共享，其分解的2个reflectance应该一样。
-
Ajustment：去噪和亮度增强。
- Denoising Operation：去除低光图像的大量噪声。
- Ehance-Net：调整低光图像照射分量（illumination）的亮度。
-
Reconstruction：重构低光图像
- 根据 \bm{S}=\bm{R} \circ \bm{I}
- 根据 \bm{S}=\bm{R} \circ \bm{I}
损失函数
损失分为两部分：Decom-Net 以及 Enhance-Net 两部分。
- Decom-Net:
loss_{(Decom-Net)}=L_{recon}+\lambda_{ir}L_{ir}+\lambda_{is}L_{is}\tag{1}
L_{recon}=\sum_{i=low,normal}\sum_{j=low,normal}\lambda_{ij}\vert\vert R_i \circ I_j - S_j \vert \vert_1 \tag{2}
其中 Eq. 2 就是低光照反射图和低光照的光照图的合成图像与低光照原始图像之差的1范数；低光照反射图和正常光照的光照图的合成图像与正常光照的原始图像之差的1范数；正常光照反射图和低光照光照图的合成图像与低光照原始图像之差的1范数；正常光照反射图和正常光照图的光照图的合成图像与正常光照原始图像之差的1范数。最后得到这四个范数的和就是计算的损失值。
L_{ir}=\vert \vert R_{low} - R_{normal} \vert \vert_1 \tag{3}
对分解出来的正常光照反射图以及低光照反射图的差距要尽可能小。
L_{is}=\sum_{i=low,normal}\vert \vert \nabla I_i \circ e^{-\lambda_g \nabla R_i}\vert \vert_1 \tag{4}
- Enhance-Net:
loss_{(Enhance-Net)}=L_{recon}+\lambda L_{is} \tag{5}
L_{recon}=\vert \vert R_{low} \circ \hat{I} - S_{normal} \vert \vert_1 \tag{6}
其中\hat{I}是增强之后的光照图，其它部分与loss_{(Decom-Net)}处一样。
数据集
论文提供了一个规模较大的数据集 LOL(Low light paired dataset)，里面的图像分为两种。
- 一种是相机拍摄的。通过改变相机感光度和曝光时间得到真实场景的图像数据；
- 一种是合成的。合成的图像数据是用 Adobe Lightroom 接口调节得到的，并且合成图像的Y通道的值必须接近真实低光照图像，也就是亮度逼近真实低光照。
实验结果
从每一个红色矩形中可以看出，该方法在不过度曝光的情况下，充分地提高了隐藏在暗亮度下的物体的亮度，这得益于基于学习的图像分解方法和多尺度定制光照贴图。与LIME相比，该方法结果没有部分过度暴露(静物中的叶子和室外的叶子)。与DeHz相比，这些物体没有暗边(见街道上房屋的边缘)。
结论
缺点：本文使用的LOL数据集是在真实图片上经过调整曝光时间和ISO进行的，并不能真实的反映夜晚图像的情况，在处理真实的夜晚图片，特别是包含噪声多的夜晚图像时，增强结果出现严重的色彩失真，噪声明显被放大。