水下图像增强方法研究综述

随着陆地空间和资源需求日益增长，水下空间开发的紧迫性日益凸显。海底蕴藏着丰富的矿产资源以及不可替代的化石能源。掌握高效水下资源开发技术的国家将在未来的发展中占据先机。高质量、清晰的水下图像是海洋资源勘探、海洋安全监测等系列水 下作业的核心要素。然而，与陆地成像机制不同的是，在水面环境下的光学特性具有显著差异性。首先，在水面环境下光传播衰 减的方式与陆地上截然不同：它是一种不均匀的过程，并且随波长变化明显。红光作为可见光中最长波长的一部分，在 传播过程中最先消失；接着依次是橙色、绿色及蓝色光线；这也是为何大多数水面下的图像呈现出偏蓝调的原因。其次 ，水面中的溶解物质会对图像质量产生显著影响：这些物质会对光线发生反射作用；当反射光线到达相机时会产生 散射现象；这种散射效应会导致图像细节模糊进而影响整体图像质量。此外，在不同深度位置、季节气温等多方面因素 的综合作用之下，提升去除粒子散射影响难度较大。最后，在达到一定深度后太阳光线将无法穿透水面提供充足 光照；此时必须依靠人工辅助照明设备进行拍摄：这将导致图像中心区域出现明亮斑块从而严重影响对比度表现 。由于独特光学特性和粒子散射问题的存在，水面下的图像往往会出现色彩扭曲、细节模糊以及对比度较低等问题

早期的水下图像处理是应用硬件设备辅助进行的，如偏振器法[1-2]，该方法基于偏振器的原理实现了去除散射效应的目的。在偏振器后提出了用快速快门门限成像方法来去除水下图像的散射或噪声[3]，该方法利用具有超高快门速度的成像设备快速地打开和关闭快门实现了对散射光线的去除。Martin等[4]提出了立体成像先验水下图像增强方法，使用两个摄像机以不同的角度对同一场景进行拍摄，进而建立起场景的立体结构，由于水下图像的衰减与场景的立体结构是有关联的，因此可降低场景成像的模糊程度。这些应用硬件的方法普遍存在效率低、成本高、无法用于深水、难携带等弊端，难以满足现代海洋调查的需求。

随着图像处理技术快速发展的背景下

1. 基于传统图像增强法

基于成像系统获取的数字图像建立水下图像自动增强模型[5]。通过有效的图像增强算法构建水下图像自动增强模型从而实现水下图像的高效与精确增强[5]。作为信息的主要载体图像是自产生以来便伴随着其产生的技术而不断发展完善的各种各样的图像增强方法中的一部分能够被应用到水下环境之中目前主要采用基于非物理模型的方法这一类方法是直接作用于像素级别的技术其核心是在继承传统图像增强原理的基础上对现有技术进行改进基于非物理模型的方法大致可分为空间域变换域以及综合应用型三类

1.1 空间域法

水下图像相比大气中的图像而言，在模糊程度较高、对比度较低以及色彩变形等方面具有明显特点[7]。基于这些特点设计出相应的增强方法能够有效改善视觉效果。例如直方图均衡及其改进算法在图像增强领域得到了广泛应用其核心在于对各个通道中的像素按照预设排列进行重新分配从而达到优化视觉效果的目的。该算法通过提升对比度显著提高了图像的质量并获得了良好的应用效果[8]具体实现步骤如下

对于离散二维图像，像素值的归一化范围为 [0,1][0,1] ，将其灰度级别定义为

Pr(rk)=nkn,k=0,1,⋯,L−1Pr(rk)=nkn,k=0,1,⋯,L−1

式中： PrPr 表示灰度的分布； rkrk 表示离散灰度； nknk 表示为 rkrk 的像素个数； nn 为全部像素个数；则 nknk 与 nn 的比值表示为频数，也就是像素分布概率。经过上述的处理后，就可以对直方图按照式(1)进行转换：

Si=T(ri)=∑i=0k−1ninSi=T(ri)=∑i=0k−1nin	(1)

不同形式的函数设计能够实现预期效果[7]

Γ校正是用于图像亮度调节的过程被称为Γ校正[9]。
刘志成团队[10]开发了一种基于二维Γ变换的自适应光场补偿算法。
该算法通过多尺度高斯核提取场景的空间光分布特征，并非仅依赖于单一层次的信息提取。
具体而言，在提升暗区亮度的同时，并非忽略过曝区域的存在。
该方法不仅能够提升暗区亮度并优化曝光平衡，在处理过曝区域时也采取了相应的策略。
最终实现的是使整体画面呈现自然和谐的比例关系。
该二维Γ变换的设计目标就是实现上述功能。

O(x,y)=255(F(x,y)255)γO(x,y)=255(F(x,y)255)γ

γ=(12)I(x,y)−mmγ=(12)I(x,y)−mm

式中：O(x,y)经修正后表示输出图像的亮度数值；伽玛系数γ用于调整增强效果；M代表光照分量亮度均值。导致水下图像衰减的原因复杂不仅与光照分布不均匀有关还受到环境因素的影响而使伽玛校正无法达到预期效果因此仅作为辅助手段使用

1963年, Edwin.H.Land创立了Retinex理论,并借鉴了视网膜理论,在图像处理领域取得了突破性进展.他主张物体的颜色特性是其固有属性,在光照变化的情况下不会受到影响,因此得出结论:物体的颜色维持恒定不变[11].该理论阐述进入人眼的光线为

S(x,y)=R(x,y)⋅L(x,y)S(x,y)=R(x,y)⋅L(x,y)	(2)

对式 (2) 取对数就可以得到：

r(x,y)=logR(x,y)=logS(x,y)L(x,y)r(x,y)=log⁡R(x,y)=log⁡S(x,y)L(x,y)

将照射图假设为平滑图像可进一步得到：

r(x,y)=logS(x,y)−log(F(x,y)⋅S(x,y))r(x,y)=log⁡S(x,y)−log⁡(F(x,y)⋅S(x,y))

式中 F(x,y)F(x,y) 是为中心环绕函数，可表示为

F(x,y)=λe−(x2+y2)c2F(x,y)=λe−(x2+y2)c2

其中 λλ 和 cc 分别表示尺度和环绕尺度，应当满足条件：

∬F(x,y)dxdy=1∬F(x,y)dxdy=1

由于Retinex理论是基于颜色一致性设计的，在色彩恢复方面取得了一定效果[11]。然而，在水下图像中还存在细节模糊的问题，在基于Retinex理论求取照噪图时需使用高斯滤波操作，这会加剧图像模糊程度。因此该方法一般也被用作一种辅助手段

1.2 变换域法

变换域是将图像空间中的像素及其位置信息转换到更适合图像处理的其他空间域。该方法包括但不限于傅里叶变换、小波变换等技术。在图像处理领域中，小波变换被视为一种常用的技术手段[12]。其中，在实际应用过程中，高频子带通常包含着图像的细节信息以及噪声信息；而低频子带则主要承担着背景图案和纹理特征的表现功能[13]。通过对其感兴趣的部分放大以及不感兴趣的部分进行抑制的方法实现图像的增强处理过程；而基本的小波变换算法则主要围绕以下几个方面展开：首先对目标子带进行放大操作；其次对非目标子带实施抑制措施；最后完成相应的增强效果输出。

ψ(t)=L2(R)ψ(t)=L2(R)

其中 ψ(t)ψ(t) 是平方可积函数，若其为基本小波函数，则傅里叶变换必需满足：

Cψ=∫+∞−∞	ψ(w)	2⋅w−1dw<∞Cψ=∫−∞+∞	ψ(w)	2⋅w−1dw<∞

通过抑制噪声干扰,我们可以设定一个门限值并去除其中的噪声成分;随后通过重构成技术就能获得增强后的图像.由于其对噪声高度敏感的特点,小波变换被用作水下图像增强的辅助手段.

针对水中悬浮的小颗粒及其水深引发的光线衰减问题,Wang团队[14]提出了一种基于范数分解的方法,在图像中分离出细节特征、结构特征以及光照影响三个子成分.在细节层面上提取出的小颗粒特征被视为噪声干扰,并通过滤波算法进行去噪处理.相比于直接作用于像素层面的操作而言,在此方案中范数分解提供了更为精确且灵活的信息处理机制.在此框架下分别对三个子成分进行独立处理,并赋予其自适应权重以构建增强后的图像.该方法不仅保留了范数特性的数学性质,并将水下环境特有的图像特征相结合,从而实现了浑浊水体环境下的有效图像增强.然而,该增强过程所需的计算资源较为丰富,导致整体运算时间显著增加.

1.3 综合法

水下图像具有细节处理欠佳、色彩失真的特点，在单一的方法难以实现对水下图像的增强操作[15]的情况下，随着相关技术的发展出现了多种融合算法[16-18]。宋瑞霞等[16]将研究重点放在HSI空间中对饱和度分量实施分段伽马变换以实现增强，在亮度分量上则采用正交多小波变换将其分解为高频与低频信号，在低频部分执行Retinex处理并在高频部分运用模糊增强技术得到最终结果。与此策略不同的贾芃等[17]则在高频信号上采用了多通道滤波方法获得良好效果。田会娟等[18]则建议将图像转至YCbCr空间并对光照信号施加伽玛函数变换随后结合Retinex技术和多尺度细节增强获得最终效果验证了不同空间转换方式及传统增强手段综合运用在水下图像提升中的有效性

基于图像的空间滤波器方法发展迅速，在此领域内，郝志成等[19]提出了基于双边纹理滤波的一种细节增强方法。该方法通过多尺度的双边纹理滤波将图像分解，并采用与小波变换相似的多尺度自适应增强策略生成一系列细节强化图像。最终将这些强化后的细节图叠加即可获得最终提升效果显著的增强后图像是合理的解决方案。

基于非物理模型的方法具有相对较高的易用性，在实际应用中表现出良好的适应能力；然而，在仅关注图像的像素特性和水中成像特性这一前提下，在处理复杂的多样化的水下图像时效果欠佳；整体鲁棒性较弱

2. 基于水下成像模型法

水下图像的退化程度受到多种环境因素的影响。当所有相关的退化参数被准确掌握时，可以通过反演退化模型将退化的水下图像恢复为清晰高质量的状态。根据Jaffe-McGlamey成像模型，在相机中接收的光信号可由三个线性分量叠加得到：直接衰减分量、前向散射分量以及后向散射分量（如图1所示）。其中，直接衰减分量源于场景直接反射到摄像机镜头中的光线；而前向散射则涉及场景反射光经微小粒子再次折射进入镜头的过程；后向散射则是周围光线经水中粒子折射后进入镜头的部分[20]。值得注意的是，在实际应用中相对于前向散射更容易去除其影响[21]。

图 1 水下成像原理示意图

Fig. 1 Schematic diagram of underwater imaging principle

Et(l,m)=Ed(l,m)+Ef(l,m)+Eb(l,m)Et(l,m)=Ed(l,m)+Ef(l,m)+Eb(l,m)	(3)

在其中，在数学表达中用 (l,m)表示图像的像素坐标。在等式的前后两边共有四项内容：左边是最终形成的目标图像；右边依次包括直接衰减成分项（direct decay component）、前向扩散成分项（forward scattering component）和后向扩散成分项（backward scattering component）。

考虑到水下成像模型与有雾图像的成像模型具有显著的相似之处，并且可以根据基于有雾图像的成像机制构建水下的成像模型：

Ic=Dc+BcIc=Dc+Bc

其中cc代表R、G或B通道之一；Im是由摄像机直接捕获的真实图像；FoVd是一个包含场景前方细节的真实图像；Ba是一个用于表示场景后方反射特征的数据项：在此省略了对成像效果影响较小的前向散射分量，并假设剩余两个数据项遵循指数衰减规律：

Ic(x)=Jc(x)tc(x)+Bc(1−tc(x))Ic(x)=Jc(x)tc(x)+Bc(1−tc(x))

进而可被改写成：

Ic=Jce−βDc(VD)⋅Z+B∞c(1−e−βBc(VB)⋅Z)Ic=Jce−βcD(VD)⋅Z+Bc∞(1−e−βcB(VB)⋅Z)

在公式中所述参数ZZ代表场景到摄像机的距离；此外，在水中传播的光沿不同波长传播时其衰减程度具有显著差异

2011年He等[22]通过研究收集了大量的有雾和无雾图像样本，并总结出以下规律：在这些区域中阴影普遍存在；特别是在某些特定通道内至少有一个像素呈现接近于零的亮度值

Jdark→0Jdark→0

Jdark(x,y)=min(min(Jc(x,y)))Jdark(x,y)=min(min(Jc(x,y)))

式中： JcJc 为图像 JJ 中R、G、B 3个通道中一个； (x,y)(x,y) 是局部区域 Ω(x,y)Ω(x,y) 中的位置。由于有雾图像与水下图像非常相似，暗通道先验的方法在水下图像增强方面也有一定的成就，2015年Galdran等[23]提出红通道先验方法，该方法针对于水下图像由于光线衰减导致的低对比度的特点，通过恢复与短波长相关的颜色来恢复退化的图像，将暗通道先验假设应用到水下环境中，即在图像某个区域应该有红色像素值的存在，为暗通道先验方法在水下图像的应用开辟了道路。接下来，Drews等[24]提出了水下暗通道先验法，是受暗通道先验启发结合水对于光的红色通道快速衰减得出的一种先验方法，该方法比红通道先验更进一步揭示了图像去雾技术与水下图像增强技术之间的联系，但该类方法都十分依赖于传输图像估计的准确程度，清澈的水质条件下效果较好。2019年Akkaynak等[25]提出一种移除水下图像中有水效果的方法Sea-thru，目的是恢复水下图像的准确颜色，在泳池中的水下图像与清澈的海水中表现出色。其使用结构–运动方法获得成像距离图，然后根据模型可得出：

Jc=DceβDc(z)zJc=DceβcD(z)z

为了得到陆地上拍摄的效果，设 JsJs 为在陆地上所拍摄的照片：

Js=Jc/WcJs=Jc/Wc

在该公式中，变量W_c代表相机环境光的白点，在该情况下（即当前场景下），J_s代表全局白平衡量。分别采用公式（4）和（5）来估计后向散射系数与衰减系数。

Bc=B∞c(1−e−βBzc)+J′ce−βD′czBc=Bc∞(1−e−βcBz)+Jc′e−βcD′z	(4)

βDc(z)=a{\rm{e}}bz+cedzβcD(z)=a{\rm{e}}bz+cedz	(5)

假设后向散射已从图像中去除；参考基于局部空间平均颜色的方法通过迭代计算得到局部空间平均颜色，并利用快速灰度世界模型以高精度估算衰减系数；由于衰减系数对于成像距离具有很强的依赖性,从而有效实现了水下图像去水功能

Berman等[26]针对水下颜色扭曲与低对比度问题分别进行处理，并对水体类型以及场景立体结构的影响因素进行分析。该研究通过引入两个全局参数：蓝红通道衰减比例与蓝绿通道衰减比例来恢复水中图像的色彩，并将增强过程与去雾技术相结合。由于实际应用中难以确定具体水体类型，在所有可能类型的水中进行增强处理后自动选择最优效果。首先选取水中无物体区域的所有像素平均值作为光源估计（即光源强度），这对于消除散射光具有重要意义。基于上述计算结果进行进一步处理：使用线性去雾模型得出传输图像估计值；应用式(6)完成场景恢复

Jc=Ac+Ic−Ace−βcZ=Ac+Ic−Actβc/βBBJc=Ac+Ic−Ace−βcZ=Ac+Ic−ActBβc/βB	(6)

基于当前获取的一系列衰减系数参数值, 我们计划将所有这些衰减系数应用于图像复原过程, 并根据灰度均值假设法推导出最佳结果。Moghimi等[27]的研究则综合运用了物理光学模型与深度学习算法, 将水下影像增强工作划分为两个关键步骤来进行优化处理: 首要步骤是利用蓝、绿通道各自的衰减特性计算出精确的理想传输图象, 从而实现水中物体清晰可见的目标; 接着利用成像模型恢复色彩信息, 并通过直方图均衡化处理提升整体对比度; 在此之后, 我们又针对第二步工作提出了创新性解决方案: 使用深度神经网络进一步提升高分辨率细节, 最大限度地弥补现有方法在细节刻画方面的不足之处, 从而有效地解决因光圈过大的情况下影像模糊的问题。

3. 基于深度学习法

在过去的十年间，在水下图像增强领域中，传统的图像处理方法长期处于主导地位。然而，在人工智能技术迅速崛起及其广泛领域的显著贡献[28]的推动下，基于学习的数据驱动方法已在该领域取得了显著进展[29]。

基于其局部连接特性以及权值共享和降采样机制[30] ，该类深度学习模型可被视为首个具备多层次架构且具有抗干扰能力的深度学习模型 ，如图2所示 由输入层（Input Layer）、卷积层（Convolutional Layer）、池化层（Pooling Layer）及全连接层（Fully Connected Layer）组成 。该类神经网络基于其滑动窗口机制以及权值共享特性，在图像处理中表现出高效的特征提取能力

图 2 卷积神经网络示意图

Fig. 2 Schematic diagram of convolutional neural network

在生成对抗神经网络中体现了零和博弈理论[31]这一概念。其基本组成单位包括一个生成器与一个鉴别器，在该框架下，生成器的主要任务是合成指定领域特征的图像样本；而鉴别器则致力于将由生成器所产生的图像判定为非真

minGmaxDV(D,G)=Ex∼pdata(x)[logD(x)]+Ez∼pz(z)[log(1−D(G(z)))]minG⁡maxD⁡V(D,G)=Ex∼pdata(x)[log⁡D(x)]+Ez∼pz(z)[log⁡(1−D(G(z)))]

在公式中 GG 和 DD 分别代表生成器与鉴别器。自2014年以来, 生成对抗神经网络的发展速度非常快, 已成为机器视觉领域的重要研究方向之一[32]. 其中, 特别地, 在图像风格迁移、超分辨率重建、语义生成以及图像增强等方面取得了显著进展[33].

该文所提出的基于学习的增强算法以学习为基础，并根据不同的假设条件划分为两种类型：一种是基于衰减模型的学习方法。
在深度学习中采用不同架构的网络会导致性能上的显著差异；使用不同的模型架构会导致功能上的明显分化；采用不同结构的设计则会带来效率上的明显提升。
该文将深入探讨各种算法在水下图像增强方面的具体表现。

3.1 基于衰减模型的学习

本文在第2节详细阐述了水下成像衰减模型这一问题。由于该模型涉及较多的参数设置和复杂的计算需求，在实际应用中可能会遇到较大的挑战。另一方面，在深度学习的发展过程中不断涌现的新一代神经网络架构具备更强的学习能力和泛化性能，在这种背景下针对复杂场景下的衰减特性建模变得更加容易。基于以往经验研究的结果表明，在估计图像特征时会涉及到tctc和BcBc这两个关键参数[1]。这些特征可以通过公式（7）来计算确定JcJc值

Jc(x)=Ic(x)−Bcmax(tc(x),t0)+BcJc(x)=Ic(x)−Bcmax(tc(x),t0)+Bc	(7)

为了解决前文提出的水下图像增强方法引入假设条件在某些特定场景下可能不成立的问题,Wang及其团队[34]基于衰减模型假设开发了一种全卷积神经网络架构,该架构将输入图像及三个通道对应的衰减系数作为输入传递给卷积神经网络进行处理,从而输出增强后的图像.为了进一步优化训练效果,框架中采用像素级打乱策略优化训练过程以提高收敛速度与模型准确率.根据衰减模型特性,Cao等[35]提出了一种基于神经网络的方法来估计背景光场与场景深度,这种方法能够更精确地恢复水下图像的颜色信息与对比度.他们采用包含五层卷积层以及多尺度双分支架构分别对背景光场与场景深度进行估计,并构建了两个独立的任务损失函数模块以实现整体优化目标

LossBL=∑c∈{r,g,b}(Bcest−Bcgt)2LossBL=∑c∈{r,g,b}(Bestc−Bgtc)2

Lossdepth=1n∑xδ(x)2−1n2(∑xδ(x))2Lossdepth=1n∑xδ(x)2−1n2(∑xδ(x))2

δ(x)=logdest(x)−logdgt(x)δ(x)=log⁡dest(x)−log⁡dgt(x)

该双任务架构基于简单的结构实现了背景光图像与深度图像的精确估计，并验证了基于神经网络技术对水下成像模型参数进行估计的有效性。

3.2 不基于衰减模型的学习

鉴于此，在现有水下科学知识水平下可能存在水下成像衰减模型建立不准确的情况。鉴于此，在这种可能性基础上，一些学者提出了无需考虑成像模型而直接采用网络实现端到端的图像转换方法。从而使网络学习低质量域至高质量域的映射函数[3, 36]。

徐岩等[37]采用了仅由6层构成的小型卷积神经网络以实现水下图像增强，并以均方误差为损失函数优化整个网络的所有参数；其更新过程遵循基于梯度下降的方法。

⎧⎩⎨⎪⎪⎪⎪Δk+1=0.9Δk−η∂L∂WlkWlk+1=Wlk+Δk+1{Δk+1=0.9Δk−η∂L∂WklWk+1l=Wkl+Δk+1

该小型网络实现了水下图像增强效果，并证实了卷积神经网络在水下图像处理中的强大泛化能力。Sun等[38]提出了一种编码–解码架构用于水下图像增强：利用卷积层去除噪声信号，在解码阶段通过反卷积层和跳跃连接恢复丢失的细节信号；该网络设计简洁高效，并仅采用单一损失函数进行优化

L(θ)=1n∑i=1nF(Yi;θ)−X2iL(θ)=1n∑i=1nF(Yi;θ)−Xi2

此外，在处理低照度图像方面，江泽涛及其团队[39]提出了基于U-Net架构的生成对抗网络模型。鉴于此，深度学习技术通常依赖于大量训练数据的支持。邓等人[40]则采用泊松融合与块结合的方法来解决这一问题。开发了一种端到端的水下图像增强生成对抗网络UCT-GAN，并在此基础之上整合了亮度损失函数作为优化目标：

L1=1K∑i=1k{∥D1[Mori,i+z]−1∥2+∥D1(Men,i)∥2}L1=1K∑i=1k{‖D1[Mori,i+z]−1‖2+‖D1(Men,i)‖2}

该损失函数可应用于调整增强图像的明暗度，并在计算分类损失时采用了LMCL方法来解决多选问题。此外，在设计中对色彩与明暗度信息给予较高重视；然而其增强输出出现了细节失真及场景模糊的问题。Zhang等[41]考虑到交叉熵方法在鉴别器鉴别时可能产生的误判情况；提出了采用最小二乘法替代交叉熵法来提升鉴别器性能

minGmaxDV(D,G)=12Ex∼pdata(x)[(D(x)−1)2]−12Ez∼pz(z)[(D(G(z)))2]minG⁡maxD⁡V(D,G)=12Ex∼pdata(x)[(D(x)−1)2]−12Ez∼pz(z)[(D(G(z)))2]

同时，在防止生成器频繁出现模糊图像方面采取了措施，并通过引入梯度预测惩罚机制来引导生成器更有效地捕捉细节特征。

LGDL(x,G(z))=∑i,j∣∣	xi,j−xi−1,j	−∣∣G(z)i,j−G(z)i−1.j∣∣∣∣α+∣∣	xi,j−1−xi,j	−∣∣G(z)i,j−1−G(z)i,j∣∣∣∣αLGDL(x,G(z))=∑i,j	xi,j−xi−1,j	−	G(z)i,j−G(z)i−1.j	α+	xi,j−1−xi,j	−	G(z)i,j−1−G(z)i,j	α

2017年,Zhu等[42]开发了一种名为CycleGAN的新方法,其能够在无监督的学习环境下完成不同领域之间的映射关系,如图3所示.该模型采用双层架构设计,不仅能够生成目标领域的图像,还通过引入循环一致性损失实现了对原领域图像的有效还原:

图 3 CycleGAN原理示意图

Fig. 3 Schematic diagram of CycleGAN

Lcyc(G,F)=Ey∼pdata(y)[(DY(y)−1)2]+Ex∼pdata(x)[(DY(G(x))2]Lcyc(G,F)=Ey∼pdata(y)[(DY(y)−1)2]+Ex∼pdata(x)[(DY(G(x))2]

在研究领域中,CycleGAN模型已成功实现了季节、物种以及艺术风格之间的转换功能,并取得显著的研究成果[43]。在此基础上,Lu等团队开发了一种改进型模型,MCycleGAN,该模型通过应用暗通道先验方法实现传输图像的恢复,随后将其输入至多尺度网络以进一步优化效果[44]。随后,Choi等团队基于此提出了一种新型模型StarGAN,该模型能够有效解决多域迁移中的生成器繁多问题,显著提升了图像域迁移的扩展性和稳定性[45]。这种基于图像域迁移的学习方法在水下图像增强方面同样具有重要启示作用

成对标签的训练数据对于监督学习而言是不可或缺的。然而由于水下图像是本身由于难以获取高质量标注信息而成为研究中的主要难点，在缺乏高质量标注数据的情况下为了应对这一挑战 在这一背景下基于学习的学习者通常会选择无监督学习方式 这种选择背后的原因在于生成对抗网络（GAN）模型能够有效模仿真实样本分布特性

在这一框架之下 Li等[45]提出了一个创新性的方法 他们采用生成对抗网络（GAN）模型 在已有大气场景和深度信息的基础上构建一系列合成样本 并将其提供的合成样本用于训练水下图像复原网络WaterGAN 这种设计使得其能够有效补充缺乏高质量标注的数据集

WaterGAN作为一种基于生成器判别器框架的独特架构 可以被划分为两个功能模块 深度估计模块与颜色恢复模块 这种模块化设计不仅能够提高整体系统的性能 而且在实际应用中也展现出良好的扩展性

值得注意的是 将增强过程划分为两个独立的任务可能会对整体效果产生一定影响 需要特别注意的是 第二步的颜色恢复步骤可能会干扰到第一阶段获得的深度信息质量 这就需要在设计过程中充分考虑两者的相互关系

Lsty（G）=∑wls∥Gl(xt)−Gl(Gs(ys,ds))∥22Lsty（G）=∑wsl‖Gl(xt)−Gl(Gs(ys,ds))‖22

Lcon(Gs)=∑wlc∥∥ϕl(ys)−ϕl(Gs(ys,ds))∥∥22Lcon(Gs)=∑wcl‖ϕl(ys)−ϕl(Gs(ys,ds))‖22

不同于WaterGAN的方法, 该系统采用了两个生成对抗网络, 分别负责深度图像估计和颜色校准任务。
由于颜色对提取深度信息的影响, 这一系统的增强效果带来了显著提升。

Li基于充足的非配对训练数据提出了弱监督水下图像恢复网络，并结合多种损失函数

LGAN(G,DY,X,Y)=Ey∼pdata(y)[logDY(y)]+Ex∼pdata(x)[log(1−DY(G(x)))]LGAN(G,DY,X,Y)=Ey∼pdata(y)[log⁡DY(y)]+Ex∼pdata(x)[log⁡(1−DY(G(x)))]

Lcyc(G,F)=Ey∼pdata(y)[∥G(F(y))−y∥1]+Ex∼pdata(x)[∥F(G(x))−x∥1]Lcyc(G,F)=Ey∼pdata(y)[‖G(F(y))−y‖1]+Ex∼pdata(x)[‖F(G(x))−x‖1]

LSSIM(x,G(x))=1−1N∑p=1N(SSIM(p))LSSIM(x,G(x))=1−1N∑p=1N(SSIM(p))

SSIM(p)=2μxμy+C1μ2x+μ2y+C1⋅2σxy+C2σ2x+σ2y+C2SSIM(p)=2μxμy+C1μx2+μy2+C1⋅2σxy+C2σx2+σy2+C2

Lloss=λ1LGAN(G,DY,X,Y)+λ2Lcyc(G,F)+λ3LSSIM(x,G(x))Lloss=λ1LGAN(G,DY,X,Y)+λ2Lcyc(G,F)+λ3LSSIM(x,G(x))

采用CycleGAN作为生成器与PatchGAN作为鉴别器的网络架构设计[47]，成功建立了水下图像域至清晰图像域的映射关系。在此基础上，Li提出了一种新的水下图像恢复网络架构——Water-Net，并将其扩展为可同时接纳三个输入参数的设计方案。

Ien=RWB⊙CWB+RHE⊙CHE+RGC⊙CGCIen=RWB⊙CWB+RHE⊙CHE+RGC⊙CGC

式中： IenIen 表现了网络的增强作用；RWBRWB 、 RHERHE 和 RGCRGC 分别代表经过白平衡算法、直方图均衡算法和伽玛函数校正算法处理后的图像分量；CWBCWB 、 CHECHE 和 CGCCGC 则分别为学习所得的置信映射。此外，在这项研究中我们还成功建立了UIEB水下图像增强基准数据集，并解决了该领域长期以来缺乏有效的评价依据这一难题。程宇等[48]采用编码–解码网络架构，并将输入信号转换为直方图均衡衍生图、伽马变换衍生图以及对数变换衍生图等多种形式以实现低光照条件下的图像增强效果。研究结果表明伽马变换与对数变换之间存在相互影响的部分，并验证了Li提出的输入选择策略具有合理性

研究团队建议，在生成器模块中引入一种名为残差多尺度密集连接的技术。该技术不仅有助于提升图像重建质量，并且能够有效保留细节信息。从而显著提升了图像细节的表现效果。与前者不同的是，在超分辨率建模领域，研究者Liu等人[50]提出了 novel的 URESNET 架构。该网络采用了融合边缘差异损失和均方误差损失的多层次损失机制。

EDL=E[∥Ic⊗lap−Ig⊗lap∥2]EDL=E[‖Ic⊗lap−Ig⊗lap‖2]

lap=⎡⎣⎢1111−81111⎤⎦⎥lap=[1111−81111]

基于这两个损失函数 foundation, 通过异步训练的方式对该残差学习 network 进行训练, 在物体边缘增强方面的 performance 较为突出. Han 等[51] 提出在编码–解码 network 中采用替代传统基本卷积 layer 的方法, 实现 shallow 和 deep 特征提取及融合. 编码–解码 network DS_RD_Net 属于深度全监督 learning 架构, 通过 L1L1 和 L2L2 联合 loss 确保全监督 learning 模式的有效性. 相比于 CycleGAN 使用生成器创建合成水下图像的方法, 该 network 采用了 UWGAN 生物合成图像生成器, 其全监督 training 方式增强了模型的鲁棒性. 然而, 在面对数据集未涵盖的某些水体类型图像时, 其表现仍显不足.

Wang et al. introduced an attention module into the generative adversarial network (GAN) for underwater image enhancement in their work [52]. They proposed a hierarchical CA-GAN architecture for underwater image enhancement. Previous approaches, namely traditional learning-based methods for underwater image enhancement, had not adequately considered the impact of water body types on enhancement performance. In the generator, they incorporated a water body encoding module, along with parallel channels and spatial attention fusion blocks, to correct the errors generated by the encoder and decoder. In addition, they added a feature-level loss term considering both mean squared error and adversarial loss.

LF=1CWH∥F(It)−F(Ien)∥22LF=1CWH‖F(It)−F(Ien)‖22

式中

M∗c = ρc⊗MαcMc∗ = ρc⊗Mcα

式中：ρcρc 代表特征图 MM 的注意力图像（attention map），其对应的损失函数是由逐个像素点计算其恢复误差与感知误差之和构成

lpixel(I,I)=∥∥I−I∥∥2FCHWlpixel(I,I)=‖I−I‖F2CHW

lρ,j(I,I)=∥∥ρJ(i)−ρJ(I)∥∥2FCjHjWjlρ,j(I,I)=‖ρJ(i)−ρJ(I)‖F2CjHjWj

由于其完全监督的学习机制，在面对与训练数据存在显著偏差的水下图像时可能会导致性能下降。基于像素级别的损失函数作为基础，在处理低对比度、色调偏移以及模糊不清等问题上进行了针对性优化。Yang等[55]开发了一种结合有监督学习与无监督学习的水下图像增强模型：首先对输入的水下图像执行有监督的色彩调色处理；随后将经色彩调色后的结果输入至无监督细节增强模块以获得最终效果；虽然增强了对比度并提升了色彩饱和度的表现效果；但因存在色调向暖偏移的现象而未能完美还原真实场景特征。另有研究表明[56]：将颜色调色与去雾任务视为统一过程存在局限性；因为在执行第二阶段去雾操作时会干扰前一阶段已达成的目标结果。针对此类水中无人机器人视觉系统面临的颜色扭曲及雾气影响物体识别的问题：研究者建议在色彩特征提取阶段引入独立的颜色通道调节机制；通过卷积操作额外提取图像本质特征从而避免不同通道间的干扰；最后采用迭代优化网络架构实现了去雾效果：该方案在近景场景表现尚可；但随着观察距离延长及雾层变厚会导致整体性能逐渐降低。

在无附加信息的情况下，在无条件的生成模型中数据呈现不可控状态。然而通过向模型提供额外的信息即可指导其生成所需的数据内容这正是条件生成对抗网络的核心原理。基于附加的信息这一关键优势使得条件生成对抗网络相较于普通的生成对抗网络具备更为稳定的性能以及更强的表现能力这些特性尤其体现在图像增强与修复任务中表现得尤为突出因此能够更好地生成逼真的图像内容。为了适应多种水体及不同颜色畸变情况黄鐄等研究团队开发了一种带有二分类功能的鉴别器用于图像增强过程其中交叉熵函数被用于对输入图像进行分类训练数据涵盖多种畸变色彩从而提升水下图像颜色恢复效果具有一定的鲁棒性性质。针对水下图像颜色失真问题Liu等学者提出了多尺度特征融合型条件生成对抗网络MLFcGAN其架构设计采用了多尺度编码器–解码器模式首先提取局部特征随后利用全局特征强化局部特征以提高训练效率假设局部特征 flfl 的尺寸为 hi×wi×cihi×wi×ci 全局特征尺寸则为 1×1×cg1×1×cg 定义 FconvFconv FcopyFcopy FreshapeFreshape 及 FconcatFconcat 分别代表卷积复制重塑与连接操作则整个特征融合过程可由以下公式表示：

fg1=Fconv(fg,W)fg1=Fconv(fg,W)	(8)

其中 WW 代表生成器的学习率，接下来，将 fg1fg1 复制 hi×wihi×wi 次：

fg2=Fcopy(fg1,num=hi×wi)fg2=Fcopy(fg1,num=hi×wi)

将 fg2fg2 重塑尺寸为 (hi,wi,ci)(hi,wi,ci) ：

fg3=Freshape(fg2,size=(hi,wi,ci))fg3=Freshape(fg2,size=(hi,wi,ci))

此时，可将具有相同尺寸的两种特征连接起来：

fout=Fconcat(fl,fg3)fout=Fconcat(fl,fg3)

最终完成由跳跃连接后的输入信号传递至相应的解码器层实现了两种特征的有效融合，在鉴别器模块中采用WANG-GP损失和L1-L1损失作为对抗性损失来进行网络训练。

LcWANG−GP=Ex,y[D(x,y)]−Ex[D(x,G(x))]+λEx[(∥xD(x)∥2−1)2]LcWANG−GP=Ex,y[D(x,y)]−Ex[D(x,G(x))]+λEx[(‖xD(x)‖2−1)2]

该损失函数摒弃了传统像素差异损失。鉴别器的鉴别差异基于Wasserstein距离衡量生成图像与真实图像之间的差异。不仅在颜色校正方面具有显著优势，在细节特征保持和增强方面也表现出色。

与Yang等[59]类似的努力也取得了一定进展，在此基础上Zong等[60]提出了采用全局鉴别器与局部鉴别器相结合的方法来进一步提升网络性能。随后晋玮佩团队则在原有研究基础上进行了创新性工作，在其研究中他们将不同水下图像的颜色信息作为StarGAN[44]的一个重要条件输入来源，并开发了一种改进型生成器架构以解决梯度消失问题。具体而言，在生成器的设计中他们采用了密集级联层结合残差连接的方式以增强模型的表现力。为了提高模型的整体判别能力，在判别器的设计上他们采用了双鉴别器结构分别负责颜色类别识别与生成结果真伪判断两项功能。在损失函数方面则在此基础上增加了感知损失项LVGGLVGG以及总变分损失函数LTVLTV以进一步优化模型性能并提升生成效果

LVGG=1N∑j=1N∥ϕj(z)−ϕj(x)∥2LVGG=1N∑j=1N‖ϕj(z)−ϕj(x)‖2

LTV=∑m,n[(xm,n+1−xm,n)2+(xm+1,n−xm,n)2]LTV=∑m,n[(xm,n+1−xm,n)2+(xm+1,n−xm,n)2]

在公式中：
ϕjϕj 为第 jj 个卷积层的激活值；其中 NN 表示经过 VGG19[62]处理后的图像特征图数量，
该损失函数旨在通过约束增强图像与输入图像在高维特征空间中的相似性，
使其更加符合人类视觉系统的特点。
x_x 表示当前生成的图像，
mm 和 nn 分别表示图像某一点的空间坐标位置，
总变分惩罚项是为了解决感知域与结构域之间的差异问题；
随着颜色类别鉴别器数量的增加，
引入了新的颜色损失项 Lcolor_GLcolor_G 和 Lcolor_DLcolor_D
：

Lcolor_G=Ex~,c[−lgDcolor(c	x)]Lcolor_G=Ex,c[−lg⁡Dcolor(c	x~)]

Lcolor_D=Ez,c′[−lgDcolor(c′	z)]Lcolor_D=Ez,c′[−lg⁡Dcolor(c′	z)]

得益于颜色损失,生成的图象是基于目标图象的颜色特征,而这一过程可以通过多尺度特征融合与精细颜色修复算法设计来实现,使得增强效果更趋近于真实图象。张等[63]等人则致力于探索生成对抗网络中的双重判别器架构,提出了一个双判别子框架,旨在还原水下场景中因多种衰减因素导致的信息丢失。针对不同场景,我们将各阶段重建结果按照清晰度特征进行二分类标注,其中判别器需分别针对清晰区域与模糊区域各自建立学习模型,最终可使整个网络架构在性能指标上超越现有参考方案

4. 水下图像质量评价体系

截止目前，在水下图像质量评估方面仍存在诸多有待完善之处。通用的图像质量评价体系未能充分考虑到其特有的属性，在这种特定环境下并不具备适用性。现有的水下图像质量评估方法主要包含主观评估与客观评估两类。主观评估依赖于人们对图像感知能力的研究；而客观评估则通过分析图像的一些参数来定量测定其质量。

由于缺乏水下图像专用评价标准而导致通用指标在该领域中的应用更为普遍；这些通用指标在水下图像评价中得到了广泛应用；作为衡量图像增强效果的重要工具；均方误差 MSE 、峰值信噪比 PSNR 和结构相似损失 SSIM 是最为常用的评估指标

MSE=1M×N∑i=1M∑j=1N(f′(i,j)−f(i,j))2MSE=1M×N∑i=1M∑j=1N(f′(i,j)−f(i,j))2

PSNR=10lg(2552MSE)PSNR=10lg⁡(2552MSE)

SSIM(p,q)=((2μpμq+C1)(2σp+C2)(μ2p+μ2q+C1)(σ2p+σ2q+C2))SSIM(p,q)=((2μpμq+C1)(2σp+C2)(μp2+μq2+C1)(σp2+σq2+C2))

这些指标都属于具有参考性的类型，在评估水下图像增强算法时常用合成数据集来模拟真实场景，并能明确反映算法性能表现。然而由于水下环境的独特性，真实的水下图像难以获得清晰准确的参考基准这一限制因素给评价过程带来了挑战

受人类视觉系统启发，Panetta等[64]提出了一种非参考的水下图像质量评价度量指标UIQM，它是一种融合指标，由UICM、UISM及UICONM融合而成，分别负责测量水下图像的色彩、清晰度及对比度，并且每一个指标都可单独用于对水下图像质量的测量任务。UIQM与人类的视觉系统有着紧密的联系，可以完整、全面、高效地对水下图像进行度量。首先，UICM是由式(9)表达：

UICM=−0.026 8μ2α1RG+μ2α1YB−−−−−−−−−−−−−√+0.158 6σ2α1RG+σ2α1RG−−−−−−−−−−−−−√UICM=−0.026 8μ2α1RG+μ2α1YB+0.158 6σ2α1RG+σ2α1RG	(9)

其中 RG = R - GR, G = R - G, Y_B = Y - BY, B = Y - B; \mu 是非对称的阿尔法修剪平均值；当 \mu 越趋近于零时，则图像白平衡的效果越好；\sigma^2 表示每个色彩分量像素的行为统计方差；接着清晰度评价指标 UISM 的表达如式 (10)：

UISM=∑c=13λcEME(grayscale_edgec)UISM=∑c=13λcEME(grayscale_edgec)	(10)

EMEEM用来评估图像中的边缘清晰度，并且在水下场景中选择适当的参数值时应考虑以下数值：其中红光波段取值约为 λ_R ≈ μ_R = ν_R = \lambda_{\text{红}} = \mu_{\text{红}} = \nu_{\text{红}} = μ_R = ν_R = \lambda_{\text{红}}, 绿光波段取值约为 μ_G = ν_G = \lambda_{\text{绿}}, 而蓝光波段取值约为 μ_B = ν_B ≈ \lambda_{\text{蓝}}. 最后，请提供 UICoNM 的表达式：

UICONM=logAMEE(Intenity)UICONM=log⁡AMEE(Intenity)

AMEE基于现有熵增强技术采用了类熵机制，在其核心体现在各个局部区域应用迈克尔逊对比度作为特征。

根据上列式子，则UIQM可以表示为

UIQM=c1×UICM+c2×UISM+UICONMUIQM=c1×UICM+c2×UISM+UICONM

实验结果表明，在评估水下图像质量方面，“该指标表现出了良好的效果，并得到了广泛应用”。Yang等[65]则采用了以颜色、饱和度和对比度作为测量指标的方法，并通过线性模型将这些指标进行融合，并提出了UCIQE这一量化评价方法

UCIQE=c1×σc+c2×conl+c3×μsUCIQE=c1×σc+c2×conl+c3×μs

该指标表征了图像的退化程度，并如衰减现象、漂移粒子以及照明变化等因素所造成的色彩偏移等影响因素所导致的图像质量下降情况而言具有一定的代表性

此外

值得注意的是

表 1 典型水下图像增强算法质量评估

Table 1 Performance assessment criteria for typical underwater image enhancement methods

算法	模型特点	损失函数	图像质量评估

2019年Guo[49] 基于多尺度残差学习的密集连接生成对抗网络，在鉴别器中采用光谱归一化技术；其相关的性能指标包括对抗损失、L1损失与梯度损失三项指标。
2019年Li[68] 提出了基于多输入单输出的门控融合卷积神经网络结构，在感知器中采用感知相关性相关的性能指标；其具体评估指标包括MSE、PSNR、SSIM三项标准以及UCIQE和UIQM两个综合评价参数。

续表 1
算法	模型特点	损失函数	图像质量评估

| 2019年Liu[50]| 异步训练的超分辨率重建网络与残差学习
卷积神经网络共同作用于水下图像增强。| 均方误差损失与
边缘差异损失。| PSNR、SSIM、UIQM |
| 2019年Lu[43]| 暗通道先验法与多尺度循环生成对抗网络。| 对抗损失、循环一致损
失与结构相似性损失。| UIQM |
| 2019年Uplavikar[29]| 附带水体分类器的编码解码神经网络。| 对抗损失、重建
损失与分类损失。| PSNR、SSIM |
| 2019年Sun[38]| 应用迁移学习技术带有跳跃连
接的编码解码神经网络。| 均方误差损失。| PSNR、SSIM |
| 2019年Ye[46]| 用于深度估计的条件生成对抗网络与用于
颜色校正的条件生成对抗网络共同作用。| 对抗损失、像素级损失与象征级损失。| PSNR、SSIM、UIQM、UCIQE |
| 2020年Liu[58]| 全局特征与局部特征融合的深度多尺
度特征融合条件生成对抗网络。| L1L1损失与WANG-UP损失。| PSNR、MSE、SSIM |
| 2020年Moghimi[27]| 结合暗通道先验与深度学习的超分辨
率重建实现降低模糊度与细节加强。| 方差损失。| PSNR、MSE、SSIM |
| 2020年Wang[52]| 带有水体分类器、共同特征通道及空间
注意力融合模块的条件生成对抗网络。| 对抗损失、均方误差
损失与特征损失。| PSNR、SSIM |
| 2020年Yang[59]| 带有多尺度生成器及双鉴
别器的条件生成对抗网络。| 对抗损失、均方误差
损失与感知损失。| PSNR、SSIM |
| 2020年Zhang[41]| 多损失融合的生成对抗网络。| 对抗损失、最小二乘损失、
梯度惩罚损失与GDL损失。| SSIM、UIQM |
| 2020年Zong[60]| 带有残差学习单元的生成器与
双鉴别器结构的生成对抗网络。| 对抗损失、局部损失、域
迁移损失与质量监督损失。| PSNR、MSE、SSIM、FSIM |
| 2021年Han[51]| 使用残差密集连接模块代替卷
积层的深度监督神经网络。| L1L1与 L2L2联合损失。| PSNR、MSE、RMSE、SSIM、UCIQE、UIQM |
| 2021年Li[54]| 融合通道注意力与像素注意
力的注意力机制神经网络。| 恢复损失与感知损失。| PSNR、SSIM、UIQM、UCIQE、PCQI、BIQI |
| 2021年Wang[56]| 三通道独立颜色校正与
迭代去雾卷积神经网络。| L1L1损失与感知损失。| PSNR、SSIM、UIQM |
| 2021年Li[55]| 监督学习颜色校正与无监
督学习细节增强网络相结合。| 监督颜色损失、无监督细
节损失与边缘保持损失。| PSNR、MSE、SSIM、UIQM、FSIM、BIQI |
| 2021年Zhang[63]| 带有增强鉴别器与恢复鉴
别器的生成对抗神经网络。| 对抗损失、内容损
失与风格损失。| UIQM、UCIQE、Entropy |

该系统架构设计体现了协同作用与互为助力的理念，在具体实现过程中充分考虑了系统的整体性与可扩展性特征。基于精准的量化评估机制能够有效提升系统的性能指标；同时通过引入创新性的技术方案也能显著提升系统性能水平。基于此架构设计的基本原则，在实际开发过程中需要特别关注系统各子系统的协调优化工作；只有在保证各子系统之间良好的配合关系基础上才能实现整体系统的高效运行效能；为此建议采用分层递进的设计策略来实现系统功能模块间的有机衔接；最终目标是在保证系统稳定运行的前提下最大限度地发挥其潜在价值。

5. 结论

在成像技术和计算机视觉技术不断进步的背景下，在人工智能觉醒发展的有利时机，在现有理论基础上开拓创新，在水下成像模型的基础上进一步加强研究与实践，在这一过程中需要从多个维度入手进一步加强

在持续性的海洋观测与调查工作中,我国已形成丰富多样的水下图像资源库.然而,由于研究机构分布于多个海域,涵盖多种海域环境,多类型的水域条件以及不同的季节特点,并结合多种成像技术,目前的研究成果难以实现有效对比与共享.为此,建议优化现有水下图像资源的配置方案,建立全国统一的共享水下图像数据库系统工程.

现有水下图像增强方法主要针对对比度较低、色彩变形以及能见度较差的图像特征，并且适用于水质良好且悬浮颗粒较少的水域环境。在复杂的水下考察环境中，在实际应用领域中开发适合高浑浊度和低光照条件的方法基于此具有重要意义。

针对水下图像的质量评估体系而言

3. 增强算法鲁棒性能力方面有较大提升空间。目前多数水下图像增强算法均存在处理选择性问题,这是因为水下图像受多种因素影响而产生显著差异,基于学习型增强方法对训练数据极度依赖,严重制约了该技术的发展前景.应在现有深度学习理论框架内,从自监督学习、半监督学习等途径逐步深入研究,以期从根本上提升算法鲁棒性能力.

优化算法的实时性能。由于计算时间的限制，在水下图像增强方面仍面临一定的应用瓶颈。快速响应能力是将图像增强技术迁移到视频领域的重要前提。现有水下增强算法多基于复杂的网络架构设计，在实际应用中，图像处理往往占据较大的计算资源。基于现有算法框架，在减少网络复杂度方面提出了一些可行性方案。

与水下无人平台的结合将发挥着重要作用。目前水下机器人系统的装载能力得到了显著提升，在搭载高清摄影机、声纳设备以及激光雷达等先进载荷方面取得了突破性进展。然而现有图像增强算法仍需实现视频增强技术向水下的迁移才能满足工程应用需求。借助水下无人平台观测信息全面的优势已具备实现条件开展实时性 water 下环境观测工作成为可能而且可以通过整合声纳信号与摄像头捕捉的信息来提高图像质量从而获得更为精确清晰的画面。未来有望通过部署水中辅助照明设备在深海区域及其周边环境实施高精度监测任务以弥补当前对复杂海域环境认知不足的问题