【图像增强论文阅读】Underwater Image Enhancement by Wavelength Compensation and Dehazing(WCID)

题目标签：Enhancement Techniques for Underwater Images

目录

• • 一、主要贡献
  • • 水下成像模型

• 二、需解决的关键问题

• 三、具体实施步骤

  • A.确定物体与相机间的距离参数：d(x)
    • B.消除人造光源的影响
    • C.抵消光线散射以及沿物体至相机路径的颜色衰减效应
    • D.计算水体深度参数：D
    • E.获取图像深度信息参数 R

一、主要贡献

本文提出了一种结合波长补偿与图像去雾技术的新型算法（Wavelet Compensated Image Dehazing, WCID），并考虑了如何消除由人工光源引入的影响。从而有效地降低了由于光散射以及色彩变化所带来的图像失真。

首先, 采用暗通道先验（一种现有的景深推导方法）来推导深度信息图（场景目标与摄像机之间的空间位置关系）。

其次，基于得出的深度图，对图像中的前景和背景区域进行分割 。

然后通过对比前景与背景的光强来判定图像采集过程中是否采用了人工光源 。若发现人造光源的存在则需去除由辅助照明所引入亮度值于前景区域以防止后续处理阶段出现过度补偿的情况

接下来, 采用除雾算法与波长补偿技术来减少雾霾影响以及沿水面传播路径至相机的颜色变化. 通过分析背景光中不同颜色通道间的剩余能量比来估算水下场景的深度. 随后分别处理每个色彩通道的能量补偿工作以使蓝调恢复为自然色调.

通过WCID, 不再需要昂贵的光学仪器或立体声像对. WCID有助于有效增强可见性并显著恢复水下图像的色彩平衡, 进而能够显著提升视觉清晰度和色彩保真度.

本文方法的流程图如下：

水下成像模型

其中，在水下场景中某点反射并被相机捕获后的场景辐射度J_\lambda(x) 中的t_\lambda(x) 被定义为其 残留能量比例（即传输前的能量 E_\lambda^{initial}(x) 与传输后剩余的能量 E_\lambda^{residual}(x) 的比率），其表达式为：

其中，在传播过程中每单位距离对应的残留能量与初始能量的比例被称为归一化残留能量比率（Nrer(\lambda)），其数值会受到透射光波长、水深以及浮游植物浓度等因素的影响；而\beta(\lambda)则代表了介质中的消光系数

根据观察结果, 将海水划分为三大类: I类水域象征着极端清晰的海洋区域; II类水域则代表具有最高清晰度且衰减程度较高的沿海区域; III类水域则呈现出较为浑浊且伴随上升流特征的状态.

二、考虑到的问题

本文提出的水下图像形成模型如下所示：

在上述传输过程中会包含两种现象：散射以及色彩转变。本研究则注意到色彩变化并不仅仅出现在被摄体向镜头传输的过程中，并且也体现在地面至被摄体传递的过程中。

从水面到物体的波长衰减现象 剩余光量W(x)能够基于能量衰减模型进行计算。

场景辐射度J_\lambda(x) 的亮度等于反射引起的照明亮度E_\lambda^A(x) ，这被称作直接衰减项，并表示为：

将上式代入水下成像模型，可表示为：

将剩余能量比t_\lambda(x)的表达式 代入上式得到：

这里，背景光B_\lambda代表物体反射的部分光线与环境光线经水中微粒散射至相机接收。伴随物体至相机距离的增大, 背景光线随之增强。

在捕获水下图像时，常用人工光源来解决水下拍照的光照问题。在进行去雾和波长补偿操作之前，请确保先去除人工光源的光度以避免过度补偿。

下图为人工照明图，前景比背景更亮。

下图为未去除人工光源进行补偿得到的曝光过度图像。

在此情况下，在有人工光源参与的水下成像过程中，在水中传播的所有光线都是由衰减的环境光与人造光源发出的光线共同构成。

考虑到以上波长衰减、人工照明及雾化效果 ，将水下成像模型公式(6)改写为以下形式：

为此, 本研究的目的是减少人造光的干扰, 降低大气模糊度并导致或改变相机与物体之间路径的颜色变化以及水表面至物体颜色变化所造成的影像影响。

三、主要方法

A.估计物体-相机之间的距离：d(x)

基于暗通道观察的低强度像素

首先，根据公式(7)，无雾的水下图像J_\lambda(x)可表示为：

将J_\lambda(x)的暗通道定义为J_{dark}(x)：

当某个场景点包含于前景区域时

因为这里背景光B_\lambda是均匀一致的，并且局部区域的剩余能量比是一个固定值（即常量），所以公式（10）能够相应地进行重新表述。

重新排列以上等式，并在三个颜色通道中执行以下最小操作：

可以证明(12)中的第一项满足以下不等式：

(13)分子中的第一项即为(9)中的暗通道，趋近于0。所以，(12)可以写为：

在所有颜色通道中，Nrer(red) 的残留值最低，这表明(14)的值即为Nrer(red)的值。

为了增强背景光检测系统的鲁棒性，在雾霾图像 I 的每个局部区域中进行计算操作后，在这些区域的所有局部极小值中找到亮度最高的那个像素点作为背景光参考点

基于I_\lambda(y)以及上述所获得的B_\lambda和Nrer(red)信息, 我们可以获得物体到相机的距离$d(x): 即生成深度图.

由图中的(b)和©部分可见，在生成的深度图像中存在虚假影的存在会导致整体深度信息出现误差。为了提高处理效果我们采用图像消光(matting)技术来细化处理生成的深度图像以获得更为精确的结果其数学表达式如下所示：

其中，在本研究中考虑了消光效应的影响因素；具体而言，在公式推导过程中引入了一个正则化系数\Lambda；该系数用于调节模型的泛化能力；具体而言，在计算过程中将原始数据与归一化因子相结合；具体而言，则采用了一种基于加权平均的方法进行处理；最终得到的结果表明该方法具有较高的准确性和稳定性

其中I表示原始图像,\delta_{ij}是Kronecker符号,\Sigma_x表示小区域\omega_x的颜色协方差矩阵,\mu_x为\omega_x的平均颜色向量,正则化系数为\varepsilon.下图展示了高分辨率的深度图.

B.去除人工光源

基于对前景与背景平均亮度变化量的分析来判断是否存在人造光源。当图像中前景区域的平均亮度超过背景区域时，则可判定存在人造光源。

根据之前导出的深度图对图像的前景和背景进行细分，如下所示：

相机感知到的人工照明效果取决于光源亮度及物体表面反射率的函数关系[

对于恒定的物体到相机的距离，“减弱的人造光源是一个常数”。相机感知到的是明暗变化的结果。

在所有相同像素构成的集合中被求取E_\lambda^L、\rho_{red}(x)、\rho_{green}(x)和\rho_{blue}(x)这些变量时会遇到一个超定问题（即方程数量超过未知数数量），这通常被视为一种优化问题中的最小二乘解

该方法一般采用最小二乘法（即通过最小化二次误差寻找近似解）来进行计算；具体而言，在涉及数据拟合的问题中，我们常常用伪逆矩阵来求取参数估计值。

图9展示了图7中人造光源的存在情况及其红色、绿色和蓝色通道设置下的反射率分布。

在计算人工光源贡献的亮度和反射率（红、绿、蓝）时，在公式（7）中进行扣除以抵消由于人造照明所导致的效果。

图10（a）和（b）的分屏显示了消除检测到的人工照明后的结果，如下图所示：

C.补偿光散射和沿物体-相机路径的颜色衰减

去除人造光源后计算物体与相机的距离之后，就可以利用（1）式扣除散射分量以消除雾气。

去雾后的图像在下图11右侧显示：

接下来, 通过将公式（21）两边进行除法运算, 并使用波长相关的衰减因子 Nrer(\lambda)^{d(x)} 对物体-相机路径中的色彩变化进行修正. 经过上述处理后所得图像具有去雾与色彩校正的效果.

在图11(b)右侧 panel 中可以看到经过去散射和颜色调整后的图像。整体呈现出明显的蓝色色调，并非均匀分布。这一现象主要由于大气光穿透水面时不同波长光衰减程度的不同所导致。为了获得令人满意的色彩校正效果，则需要进一步估算场景中水面深度的变化

D.估计场景水深：D

为估算水下深度, 首先需测定环境照明的强度. 可知水深 D 是一个最小二乘解, 使得入射光经传播后衰减为版本 E_\lambda^A, 并在深度 D 检测到的环境光 E_\lambda^\omega 计算差值, 如下所示:

确定后D值确定后，请根据各个波长对应的衰减量来抵消能量偏差，并通过将公式（22）除以Nrer(\lambda)^D来进行颜色变化失真的校正。

同一场景中图像顶部和底部的水深通常存在差异。由于入射光线强度在水体深度增加时显著下降,若仅凭单一深度值对整个图像进行补偿,则会在图像底部产生明显的颜色偏差。基于此,在对图像中的每个像素进行深度估计时需采取精细化方法以确保能量补偿的准确性。

E.图像深度范围 R

当光线穿透覆盖该深度范围的水面时，在图像中会出现顶部和底部呈现出不同色调的现象。为了准确校正色彩差异，在水下各点都需要依据其特定深度进行能量补偿调整。

设图像深度范围为R，则图像顶部深度为D，图像底部深度为D+R 。通过公式(23)可以得出这两个值。 图像中任何点的水深在到的深度范围之间。 因此，可以通过线性插值（即，顶部和底部背景点的深度）来微调图像点的深度。 假设像素点x、图像顶部和底部背景像素分别位于扫描线a_x，b和c上，像素的水下深度可以通过线性插值逐点导出，如下所示：

获得所有像素的水下深度之后，即可得到最终修正图像：