水下图像质量评价与画质增强研究

编者按

地球表面约三分之二的面积被海洋覆盖，并且海洋生态系统中蕴藏着丰富的自然资源。对水下成像技术的研究与应用日益受到重视。然而，在水中光线折射、散射以及噪声等多种因素的影响之下，在实际应用场景中所获取的水下图像往往会出现色调偏差和清晰度下降等问题。在第2023届LiveVideoStack会议深圳分会场上，福州大学赵铁松老师将分享关于水下图像质量评价及画质增强技术的研究案例。

文/赵铁松

整理/LiveVideoStack

大家好！我叫赵铁松，请您多多包涵！今天与大家分享水下图像质量评价及画质增强研究案例！

首先介绍一下水下成像面临的问题。

当前我国综合国力的提升对关注海洋技术相关领域的研发提出了更高要求；
在当前对海洋探测领域的开发中需投入巨大资源；
在这一过程中需要投入大量的人力物力；
尤其是通过引入人工智能技术来推进这一领域的发展。

地球表面大部分是海洋。通过声纳、换能器和水听器等设备的使用，我们可以获取到丰富的海洋信息资源和关键的地理要素数据。这些信息主要包含海洋资源分布、地形地貌特征以及重要的海上搜救任务数据等内容。在信息传输方面，则主要采用水下无线电磁波通信系统、水下光缆通信系统以及水声通信系统等多种方式进行有效传输。

针对水下成像技术而言，在这种场景下会遇到由于水体自身特性导致的前向散射与后向散射问题；此外，在水中存在杂质也会造成影像呈现异常色彩效果（如上图所示）。相比之下，在陆地成像环境下这类问题相对不那么突出；而在深海光学成像领域，则面临着光线不足等挑战。

作为补充说明，在此进行深海成像相关技术的详细描述：
主要依赖于其技术和应用特点的深海成像系统主要包括以下几类：
根据其工作原理可分为主动声纳与被动声纳两种类型；
根据不同作业目标可分为水面舰艇用深海成像设备与水下航行器用深海成像设备两类；
其中以水下航行器用设备为主流方向。

在接收水下图像时（或：基于采集到的水中图像进行），其传输面临着诸多通信挑战（或：困难）。其中主要问题是受限于传播距离的限制（或：局限）、运营成本高昂（或：高昂）以及信道环境的不稳定性（或：不稳定性）。此外，在水中使用的光通信技术也面临着信号衰振和干扰等技术难题（或：难题）。相比之下，在现有技术中以声波为基础的水声通信方案因其稳定性和抗干扰能力而被广泛采用（或：应用）。然而该技术仍面临信道宽度受限以及随着传播距离增加而产生的信号衰减等挑战。

简单总结。水下光学成像问题表现为光照分布不均导致亮度差异显著；此外还面临对比度不足的问题；同时还会出现颜色分量压缩和图像模糊的现象；另外还需应对海面反光现象的影响。声纳成像方面则主要表现在接收信号的整体亮度较低；同时对比效果较差容易导致误判；图像细节丢失严重影响目标识别能力；此外还会遇到噪声干扰较强的问题以及前景边缘模糊难以捕捉清晰目标特征等挑战性问题。至于水下通信系统的信道传输特性则主要体现在通信容量受限以及信道特性波动较大的双重限制条件下

面对这样的情况时, 我们将重点围绕以下几个关键点展开讨论：首先, 在判断图片是否可用方面, 我们需要探索可行的方法；其次, 在目标识别方面, 我们将深入研究相关技术；再次, 如果图片不可用, 是否存在有效的恢复手段是一个值得探讨的问题；最后, 探讨有效的压缩与传输方法也是本次汇报的重要内容之一。本次汇报重点将放在第一个和第三个问题上。

首先讲水下图像质量评价。

重要指标是图像的构成部分；用于评价图像质量的方法可以分为三个类别。

请问第一个主要维度是评估焦点吗？它关注的是保真度与清晰度相关联，并且涉及海洋图像或视觉信息的实用价值？目前这类图像在美学方面的影响较为有限。

另一个维度是关于已有信息的分类吗？水下图像质量难以达到理想状态，在缺乏完美的基准图像作为依据的情况下，其可获得性受到了限制。

第三维则是围绕评估策略展开的探讨。具体而言，则涉及两种不同的构建路径：一种是从低往上则采用感知理论对视觉系统进行建模，并通过构建相应的评估模型来量化其性能；另一种则是从上往下依赖于数据收集与特征提取来训练模型，并观察其在实际场景中的表现效果。值得注意的是，在当前阶段已有明显的技术突破的情况下，“bottom-up”的思路正在逐渐占据主导地位，并可能预示着未来评估框架将更倾向于以bottom-up的方式展开

目前广泛采用的水下图像质量评估工具包括UCIQE和UNQM两个指标。然而这些标准提出的时间相对较早，在设计阶段并未充分考虑深度学习算法带来的失真现象。因此如何找到更为合适的评估标准？

在分析过程中，在探讨人类感知机制时

在机器处理时需要评估其特征的显著性。对于图像而言，在计算梯度后若其足够明显，则可满足机器学习的需求。

最后一个是结构一致性这一关键要素，在水下增强处理后的图像与之前的所有图像在结构上要保持一致。The three aforementioned factors are all derived within the CIELab color space.

基于以下三种要素整合后, 能够获得更为优质的质量评价指标. 从图中可见, 该算法展现出卓越的稳定性. 除了对外界公布了相关算法外, 我们还对外界公布了相关数据集.

该评价机制专注于声呐成像技术，在视觉效果上存在显著差异，并且在实际应用中也呈现出多样的适用场景。水下光学成像技术可能应用于娱乐化场景或者目标识别任务，在声呐成像领域中，则主要用于实现精准的目标识别任务

在这个研究任务中采用Contourlet变换对于目标识别特征提取具有显著作用。本研究进行了两项实验：第一项实验基于声呐图像数据集评估了传统算法性能；第二项实验则比较分析了不同参数设置对算法性能的影响。

基于这一思路为基础，在开发过程中我们设计出了一个分阶段的操作方案。首先，在第一阶段中, 我们通过应用Contourlet变换对图像进行处理, 并从各个子区域中提取相应的特征参数; 计算得到的幅度值、能量值和信息量指标被整合为三个关键指标；随后, 在第二阶段中, 我们利用集成学习技术进行特征筛选, 并进一步提高模型的整体适用性

结果显示如图左侧部分

接下来讲述水下图像画质增强。

首先，在水下成像中出现的噪声表现为混合型 noise 特征。具体表现为色彩维度缩减、非均匀照明效果、细节模糊以及对比度不足四个方面。值得注意的是，并非简单的叠加型（加性） noise 作用，在去噪过程中需直接进行处理。而针对水下场景的混合型去噪模型较为复杂，在实际应用中需综合考虑光照强度、对比度和颜色信息等多个维度的信息。

我们最先开展的研究集中在LCNet框架上。通过构建拉普拉斯金字塔多尺度表示对输入图像进行分解，并借助层级式子网络架构，在各个尺度层上提取特征信息。同时显著提升了模型在复杂场景下的适应性能力，在保持高效计算的同时降低了模型参数规模，并实现了拉普拉斯分解过程的并行化。这种设计策略不仅有效降低了计算资源消耗并显著提升了处理效率。

实验结果显示，在与现有对比算法相比时，我们的方法表现最为突出。通过分别与真实世界图像以及具有挑战性的数据集进行测试和比较分析，在所有评估指标上均取得了良好效果。

基于计算时间分析的结果表明，在相同条件下我们的算法运行效率最优且运算负载相对较小。在原始图像中显示的是未经系统处理的内容，在经过系统化操作之后所呈现的图像信息发生了显著变化。值得注意的是，在此过程中能够检测到之前未被识别的目标这一现象具有特别重要的意义

我们提出的第二个算法命名为CURE-Net，并旨在进一步优化画面质量。该网络架构分为三层输入结构，在第一层中图像被分割成四块，在第二层则分割成两块，在第三层则未进行分割操作。系统通过多级特征结合注意力机制逐步提取信息，并使这些信息逐步向上一层传递。此外，在这一过程中还设置了细节增强模块以恢复图像细节，并配置了一个监督复原模块以整合所有注意力特征来指导整体图像的重建与修复。

基于构建后的结构上实施CURE-Net方案后能够实现更高的性能指标观察到系统输出结果表现出色呈现出更高品质的照片同时呈现出更为绚丽的画面

通过优化升级后的算法设计, 我们能够显著提升目标识别的效果. 实验结果表明, 采用多级关联机制, 检测到的目标数量不断增加, 同时在跨库测试中表现出良好的性能

我们提出的新算法DGUIR主要应用于图像修复工作。针对复杂多频段水声信道可能导致通信质量下降的问题，在修复过程中采用了分阶段的方法：首先通过定位技术确定失真位置；然后应用相应的修复手段完成处理过程。

将整个模块划分为三个阶段，在第一步中将输入数据转换为修复目标的一阶先验图像；随后将输入数据转换为修复目标的一阶先验图像；接着对观测到的失真图像进行初步修复；最终实现精确修复。

结果显示，在实验阶段将该方法与现有的对比算法进行了比较，并在一定程度上实现了对图像失真问题的有效修复。该方法在性能上显著优于当前主流的水下图像恢复算法，并且从理论层面探讨了其在视频修复问题中的应用潜力。

最后向大家汇报我们成功构建了算法集成框架...涵盖了水下图像质量评价编码环节、数据传输阶段以及修复过程中的关键步骤，并结合目标识别阶段完成整体流程设计

在获取图像后，经过图像压缩和数据打包处理后，在信道中实现信息编码与信号传输。随后实现信息传输和信号解调，在解码后需对所接收的信息质量进行评估。用于评估所接收的图象是否可使用性问题。最终可能直接应用于显示或需对损坏的图象进行修复处理。

我们在Jetson盒子上集成实现了算法并测试，每秒能处理5-10张水下图像。

该采集端采用评估手段。对图像进行性能评估。判断目标是否清晰明确，并检查其是否存在性。对于性能不佳的画面，默认予以剔除。

拿到图像之后对图像进行压缩和重建。

基于QP参数的选择与优化策略，在起始值设为27的基础上以步长设置为8的方式逐步调整参数范围。具体而言，在设定有效性能阈值（即有效QP阈值）为40的情况下进行判断：当计算出的QP指标低于该阈值时会被舍弃；否则则会执行压缩传输操作。

信道传输通过水声信道进行模拟。

对收端的信道状况进行评估，并确定采用的图像质量评价方法。当信道的误码率低于预设阈值时执行部分基准质量评估；若误码率高于预设阈值，则进行无基准质量评估。

在不同的传输渠道中，在各个信道上的图像完整性表现各异。当SNR值为20时，在图像传输过程中虽会出现一定比例的像素缺失现象，并不影响后续的目标定位工作；而当SNR值降低至较低水平时，在图像损坏程度上将呈现出愈发加剧的趋势。

接收端基于效用评价结果对图像分别处理。

采用三个不同阈值作为评价基准。当评估结果低于阈值2时，将进行重传操作；介于阈值2至3之间时，则执行图像修复处理；若评估结果介于阈值3至4之间，则执行增强处理；当评估结果超过4时，则直接应用于目标检测流程。

接下来讲述应用于下游任务的目标检测等。

开发鱼群识别网络及相关的算法体系，并通过鱼群识别网络实现目标的识别过程。如图所示，在实际应用中可观察到以下操作流程：首先将图像4用于直接进行目标的初步识别；随后使用图像3加强目标特征的提取；对于可能存在模糊区域的图像2，则采用修复措施以确保检测效果；整个检测流程平均每秒可处理约十帧以内。

今天分享到此结束，谢谢大家！