2017-SIGGRAPH-Google,MIT-(HDRNet)Deep Bilateral Learning for Real-Time Image Enhancements

双边网格
本质上是一个可以保存边缘信息的3维的数据结构。

对于一个二维图像，在其二维空间中引入第三个维度以表示像素强度；通过slice操作实现上采样

该文通过基于高效的空间采样结构实现了图像操作算子的计算效率提升。

该算法的核心理念在于将原始高分辨率图像经过下采样处理转化为一个双层网格结构。在双层网格架构中，每一个单元都代表了图像空间中的一个仿射变换操作。其理论基础在于，在空间和值域高度相似区域内的输入图像亮度经过相应操作后仍应保持高度相似性。因此，在每一个单元内部所执行的操作可被视作一种近似于输入输出关系的变化曲线。而对于双层网格中的各个单元，在给定特定输入样本及其对应的标签信息下，整个网络能够逐步优化并实现对各区域仿射模型的高度平滑化适应。最后通过上采样技术重构出高分辨率的空间细节特征，并输出最终处理后的图像结果。

原始图像经过降采样处理后生成低分辨率图像；随后采用传统图像运算方法对低分辨率图像进行处理以生成训练标签（其中训练标签位于右下方）。

2.通过在低分辨率的输入和标签训练得到双边网格的仿射变换参数

3.利用该双尺度网格对原始低分辨率图像进行处理（应用仿射变换与上采样技术，在该双尺度网格中执行操作）以获得与传统图像算子相似的处理结果

注：通过利用双边网格的特性可以通过GPU并行加速图像算子的运算

HDRNET存在两个数据处理流:

红色: 通过下采样的低分辨率图像输入CNN得到3D的双边网格参数，

紫色和绿色: 基于原始分辨率进行像素级别的处理以生成Guidance Map；接着利用三维的双边网格执行仿射变换处理；最终融合原图信息生成最终结果。

紫色和绿色: 基于原始分辨率进行像素级别的处理以生成Guidance Map；接着利用三维的双边网格执行仿射变换处理；最终融合原图信息生成最终结果。

不同于Bilateral Guided Upsampling中的Slicing，在HDRNET中所采用的Slicing架构中存在一种更加灵活的设计：其中，在该架构中所采用的上采样参数能够被学习并优化，并被称作一种更具优势和鲁棒性的上采样方法。

本研究特别关注右上方黄色背景区域的这一模块。通过神经网络模型提取了一系列关键特征，并将其划分为低级、局部和全局三类核心属性。将所有提取到的各类型特征进行整合后生成了一系列多通道的空间表征。基于这些多通道的空间表征进一步推导出每张空间表征对应的局部线性变换矩阵（具体内容可参阅上一章节）。通过双网格结构存储每张空间表征的线性变换参数；需要注意的是，在此过程中我们对图像进行了下采样处理。

在该模块中，首先获取一张指导图，并基于此指导图，在bilateral grid中执行切片操作以获得大区域内的每个像素上的变换参数（参考上一节所述内容：通过上采样技术学习到必要的参数）。随后应用这些参数即可生成最终输出图像。

代码

双层引导上采样是一种有效的增强技术，在计算机视觉领域有广泛应用。将原始图像转换至一个三维的双层网格后，在此双层网格上执行任意图像操作均有效。上采样是一种选择参考图并将任意空间像素映射到该双层网格上的过程，在此过程中无需取整而采用三线性插值方法以精确计算未知范围内的亮度值