【论文阅读】MIEGAN: Mobile Image Enhancement via A Multi-Module Cascade Neural Network
【论文阅读】MIEGAN: Mobile Image Enhancement via A Multi-Module Cascade Neural Network
使用对抗生成网络和多尺度鉴别器增强移动模糊图像
此文的方法有借鉴EnlightenGAN（本人感觉）但是加入了作者自己的对于全局和局部的结合以及对于loss的创新
文章目录
-
【论文阅读】MIEGAN: Mobile Image Enhancement via A Multi-Module Cascade Neural Network
-
前言
-
一、生成器
-
- 1.编码器
- 2.并行的特征提取Feature Transformation Module
- 3.解码器Decoder Module
-
二、Loss和鉴别器
-
- 1.Loss function
- 2.多尺度鉴别
-
总结
前言
此文章的网络共分为生成和鉴别两个部分，其中生成又是一个编解码器，其中增加了对于全局和局部特征的提取，多尺度鉴别器与在他之前发的一篇文章基本一模一样（只不过这篇文章是有参考的鉴别）。
一、生成器
1.编码器
在编码部分使用了亮度正则化，这一操作的目的是对于图像的暗处给予更大的attention。在具体的操作上使用的是YUV颜色空间的Y作为一张特征权重图。
这一操作与EnlightenGAN使用了深度图的反转不能说是很像吧，就是完全一样。（在低亮度的图像里，作者认为更高的attention应该是在低光照图像的更暗地方，而深度图的反转（0，1置换）能够给予暗处的更高的权重）。
En = Cn · Bn + Cn，将第一部分的双路编码总结为一个公式就是这个。将亮度图的暗处高权重和原始图像相乘，再付给原始图像，最终得到的结果就会对暗处给予更多的attention。
这两个框图实际上我自己观察，差距就在于本文中增加了Global 和local的特征提取部分，不过也是一个有参一个无参考，这两年因为EnlightenedGan很早就放在了占坑网站上，也就出现了非常多的相似文章，这种借鉴确实都做的很有水平，做的非常的好很多TIP之类的文章出现。
2.并行的特征提取Feature Transformation Module
Global information of an image is highly related to the types of scenes and overall brightness, and local information is related to thetexture and sharpness of the image.
作者也提到，图像的全局信息体现在场景和亮度上，而局部信息体现在图像的细节上面，所以在这块特增加全局和局部的有效提取和融合。
在文章的Global的处理上操作较常规，想到全局处理，想必很多同学自己第一反应就是使用Max Pooling,本文继续将池化后的结果全连接。同时在并行的支路上对于局部细节的信息提取使用了residual-based network也就是残差网络，不过相比正常的残差网络–是一个出入输出不断尺度降低维度增加，并且每次残差的结果对于图像提取部分是不同层次的。本文使用的是一种尺寸不变的残差网络（卷积核不是1*1，应该是有补零，之后使用全是的相加消除了块效应），对于深度学习知识不扎实的同学可以使用传统的方法理解，卷积获取文章的显著特征，将其归一化然后高频细节激活，再与原始的输入相加，这样就能使得原始的图像的细节不断其显著性，例比一张图有0和1，1提取出来继续加1，0还是0，这样使得局部细节更加的好，达成文章对于局部特征提取的目的。
3.解码器Decoder Module
将提取到的全局和局部特征融合进入网络，之后还有全是编码器的不同尺度结果，之后不断上采用，再加上原始编码的不同结果保持图像细节内容的不丢失，最终恢复出Output image.
二、Loss和鉴别器
1.Loss function
Adversarial loss
MSE loss
Content loss
Contrast loss:To make the enhanced images look as natural as the DSLR quality images这就是作者所提新的loss。作者说如果一张图像没有或过度增强，就会视觉质量下降，所以定义了一种 Lt
这种区域临近对比度差异性比较，我认为真的比较好。随后为了降低计算量，作者将这一方法优化将运算效率大大下降。
2.多尺度鉴别
多尺度鉴别使用的是全局和局部的鉴别，全局上面三张图像分别为输入输出和GT，局部的鉴别上面随机选取8个块。
When the global discriminator loss is smaller than the local one,more attention needs to be paid to the local discriminator.Otherwise, more attention should be paid to the global discriminator.在全局和局部的权重使用上面是一种自适应的过程。
总结
我以前一直对于loss的设置存在一种疑问，如果区别图像像素级基本信息的存在性和强度性差异？
如果图像增强效果比原图更好，那么图像的一致性鉴别时，高强度的二范结果会出现大大差值，那么一般会判别为时内容损失，但是这完全忽略了增强效果非常棒怎么办？而这种区域鉴别的方法考虑到了如果图像增强的结果非常的好就会图像整体效果的增强，这使得这一考量将像素强度和局部区域内容信息联系在一起，虽然没有完全解决存在性和强度性的问题，但是确实做了一个很牛逼的考量。这使得多个loss在互相作用的时候对于这一问题有不错的解决。而不是独立的loss互相做博弈。