图像增强_基于深度学习的图像增强调研
目前，行业内绝大数企业能够做到再正常天气状态下的自动驾驶，但是对于恶劣天气环境，很多企业其实还有很多难题。合理轨迹不同感知传感器的瓶颈，冗余设计都是解决方案。
对于夜间的图像识别应该怎么处理呢？先通过一个分类器，判别属于白天还是黑夜，然后如果判别为黑夜，或许能先经过图像增强，然后才进行下一步检测识别等流程。
在计算机视觉应用（例如，物体检测和跟踪）和消费电子（例如，手持设备）中都需要高质量的图像和视频。 然而，在弱照明条件下捕获的图像和视频经常遭受可见度，亮度和对比度的显着降低。 低级光增强是图像处理领域的共同目标。 在低光下或由于低曝光而拍摄的图像遭受低对比度和亮度，这既降低了图像的视觉质量又可能妨碍进一步的图像处理算法（例如物体检测，图像分类等后续的任务）
低光下的图像部分能用传统的方法解决，例如直方图均衡得到很好的效果。虽然这些方法产生了有希望的输出，但每个过程的运行时间可能很长。 通过深度学习，网络经过培训（需要很长时间）并生成一个过滤器，不仅能产生更好的效果，也能够将训练好的网络用来智能手机上。
DEEP LEARNING FOR IMAGE ENHANCEMENT AND VISIBILITY IMPROVEMENT （这是一篇调研报告，所以没索引）
另外一种解决方案是使用新型的红外摄像头传感器，这种红外摄像头传感器在夜间上能够看的清楚，即使是在光照变化比较大的地方，具体可以看下以下视频
微光图像增强的解决方案：
1.传统的方法，可参照文献：
[1]Maini R, Aggarwal H. A Comprehensive Review of Image Enhancement Techniques[J]. Computer Science, 2010.
2.基于学习的方法
当然还有一些其他的，我只列举了我看过的，不过可以照的论文的引用继续寻找了，这样就方便很多了。
另外推荐一个低光下图像增强的的github （110Star）： https://github.com/baidut/OpenCE
下面的都是自己草草看过的一些记录，然后总结了为一个小表。
说明：由于深度学习应用在低光下图像增强上面目前还没有一个公开的统一的数据集，所以各自的算法都是在自己收集的数据集上进行测试，实际上就很难去评价某个算法性能多好了，毕竟比较的都是不同的数据集。
表格中打xx的是论文中没有提到的
（1）LL-NET
[2]Lore K G , Akintayo A , Sarkar S . LLNet: A Deep Autoencoder Approach to Natural Low-light Image Enhancement[J]. Pattern Recognition, 2015, 61:650-662.
这是第一个使用深度学习解决图像增强的论文。（16年8月发表的）
本文使用深度自动编码器（我们称之为 低光網絡，LLNet）从表示学习的角度来解决低光图像增强的问题，这些自动编码器经过训练以学习低光图像中的基础信号特征并自适应地增亮和去噪。
网络结构
训练的思路与一般的神经网络的训练方法都一样，都是与打标签的图像做对比求误差，然后进行反向传播
训练示意图
效果對比，使用这种方法与传统的方法做的对比
结论：该能够适用于不同程度的自然低光图像增强问题。
（2）LightenNet
LightenNet: A Convolutional Neural Network for weakly illuminated image enhancement
现在的方法在增强 弱照明 度的图像时显示出局限性，表现在不同的光照条件下，（这里变化的照明条件包括了非均匀照明，背光照明，极弱的照明强度，光线充足等下）。本文使用了弱照明图像增强的可训练卷积神经网络（CNN），即LightenNet，它将弱照明图像作为输入并输出其照明图随后用于获得基于Retinex模型的增强图像。所提出的方法产生视觉上令人愉悦的结果，而没有过度或欠增强的区域。
LightenNet的核心思想是采用以下这个相片模型：
首先建立一个相片的模型，我们假设一张 微光图像 = 正常图像 *一个光照映射。
所以我们要恢复出原来的图像就是找到这个光照映射，然后将它移除掉就是正常的图像了。
所以，为了得到这个映射，本文作者首先从互联网上收集了大量的光照良好的图片，然后对这些光照良好的图片进行处理得到低光下的照片，这样就能确定深度网络中图片的输入与输出了，接下来只要学习这个模型的参数就可以了。
本文提出的方法是尽力在Retinex 的模型上，该模型能够估计其光照映射来增强图像，训练后的LightenNet模型的效果如下：
可以看到相比于其他图像方法，这个方法具有更好的视觉效果。
局限：该方法在在噪声比较大的低光图像下，会引起图像的块效应。
3.MBLLEN: Low-light Image/VideoEnhancement Using CNNs
本文提出了一种新的基于CNN的低光增强方法。 现有方法通常依赖于某些假设，并且经常忽略诸如图像之类的其他因素噪声。 为了解决这些挑战，我们的目标是培训一个强大而灵活的网络，以更有效地解决这一任务。 我们的网络由三个模块组成，即FEM，EM和FM。 它被设计为能够从FEM中的不同层提取丰富的特征，并通过EM中的不同子网来增强它们。 通过FM融合多分支输出，它可以产生高质量的结果，并且大大超过了现有技术水平。 还可以修改网络以有效处理弱光视频。
网络结构如下：
与其他的网络对比效果：
[3]Feifan ,LvFeng LuJianhua WuChongsoon Lim MBLLEN: Low-light Image/Video Enhancement Using CNNs [J]British Machine Vision Conference,2018
4.CVPR 2018论文解读 | （Learning to See in the Dark）项目开源
https://github.com/cchen156/Learning-to-See-in-the-Dark
知乎有个博主对这篇论文的解读：赵春林：learn to see in the dark-低照度图像增强一站式解决方案
