随着人类对海洋资源的不断开发, 水下图像被广泛采集和应用. 然而, 水下环境具有特殊性, 成像受光的衰减和散射影响, 捕获图像具有细节模糊、清晰度低、颜色失真等问题, 严重影响了后续水下机器视觉任务的开展^[1]. 因此水下图像增强技术对于海洋作业具有重要的意义^[2].

传统的水下图像增强算法分为基于物理模型的方法^[3,4]和非物理模型的方法. 虽然物理模型的方法在图像锐化, 颜色校正方面有良好的效果, 但先验知识无法描述所有的水下场景, 鲁棒性较差. 非物理模型的方法通过修改像素的灰度值来增强视觉效果, 其中, 基于直方图的增强算法处理后的图像易丢失细节^[5,6]. 基于多级小波变换的增强方法, 能在频率域将图像分解为多个尺度, 并在不同尺度上对包含颜色的低频信息和包含细节的高频信息进行处理, 从而更好地重构图像^[7]. 王晓琦等人^[8]提出了颜色恒常性和多尺度小波水下图像增强(CMWE), 它先利用多尺度小波变换框架初步实施颜色及细节增强, 再利用伽马校正和锐化方法进一步校正不均匀光照, 锐化边缘细节. 非物理模型的方法具有简洁高效的优势, 但因忽略图像的先验信息, 增强结果难以恢复原始场景的特征.

近年来, 深度学习的方法在水下图像增强领域取得了巨大的成功, 可分为卷积神经网络的增强方法^[9,10]和生成对抗网络的增强方法^[11]. 卷积神经网络的增强聚焦于不同水类型产生的降质, 如Anwar等人^[12]提出了水下增强网络(UWCNN), 通过对10种不同Jerlov水类型图像分别训练, 达到增强不同水类型图像的效果. Wang等人^[13]将HSV和RGB颜色空间整合到一个神经网络中, 以去除不同水类型的干扰. 为进一步提高水下增强网络的泛化能力, Wang等人利用水下生成对抗网络UWGAN)生成真实图像, 再利用U-Net复原水下图像. Islam等人^[14]进一步通过感知损失函数, 增强条件生成对抗网络(CGN)的性能, 学习降质水下图像和清晰水下图像间的非线性映射关系, 提升增强效果. 上述方法虽然考虑了不同水类型引入的降质问题, 但增强结果仍存在边缘模糊, 噪声干扰, 红通道颜色丢失等问题, 这是由于水下图像不但受多样水类型的影响, 还受到噪声、光的衰减和散射作用影响.

综上所述, 本文将感知图像多重降质因素的对比学习模型和基于非物理模型的多级小波变换增强策略相结合, 提出了降质感知的小波变换水下图像增强网络, 它包括基于对比学习的降质表征提取网络和基于多级小波变换的图像增强网络. 不同于已有的网络模型仅考虑单一降质因素, 降质表征网络通过对比学习, 能产生描述所有降质因素导致的降质表征. 而基于多级小波变换的图像增强网络, 以传统的小波增强算法为多级小波变换模块构建的指导思想, 旨在从频率域上, 多尺度增强细节和颜色. 将代表图像先验信息的降质表征引入到多级小波变换的水下图像增强网络中, 可使网络感知降质, 在频率域有效地实施增强. 大量结果表明, 本文算法能去除多重降质因素的干扰, 有效增强细节, 校正色偏.

1 本文算法

基于降质感知的多级小波变换水下图像增强网络包含对比学习的降质表征提取网络和多级小波变换的图像增强网络(见图1). 多级小波变换的水下图像增强网络采用多级小波变换模块来构建网络框架的基本增强单元, 有效地增强了水下图像的高低频特征. 然而, 仅利用多级小波变换模块来学习和处理图像的特征, 并不能感知图像的降质信息, 无法有效解决复杂因素导致的降质问题. 这里, 降质表征提取网络被用来提取水下图像的降质信息, 它利用编码器和对比学习提取图像的降质表征, 并将此表征作为图像的先验信息引入到多级小波变换的水下图像增强网络, 使其感知降质, 有效地校正颜色和锐化边缘.

1.1 对比学习的降质表征提取网络

降质表征网络旨在以非监督学习的方式, 从水下降质图像中提取降质表征. 这里, 我们利用编码器和多层感知器对降质图像进行编码, 再利用对比学习生成降质表征. 如图2, 编码器包括5个卷积模块和1个自适应平均池化层, 其中每个卷积模块包括1个3×3的卷积层, 1个归一化层和1个ReLU函数.

当图像进入编码器编码后, 编码结果将进一步输入MoCo动量对比框架^[15]提供的多层感知层(见图2), 以产生对比学习所需的数据样本. 实际上, 对比学习是将待查询数据特征与正负数据特征对比, 来学习样本特征表示的方法, 又称为表征提取法. 假设x是待查询的数据特征, {$x_1^ - , \cdots , x_N^ -$}是N个负数据样本特征, ${x^ + }$是与x匹配的正数据样本特征, 对比学习利用最小化损失函数L_cl见式(1)的方式, 拉近x与同类样本${x^ + }$的距离, 同时推远x与不同类样本{$x_1^ - , \cdots , x_N^ -$}间距离.

${L_{\rm cl}} = - \log \frac{{{{\mathrm{e}}^{{{x \cdot {x^ + }} / \tau }}}}}{{\displaystyle\sum\nolimits_{i = 1}^N {{{\mathrm{e}}^{{{x \cdot x_i^ - } / \tau }}}} }}$

(1)

其中, $\tau$为温度系数, 用于控制负样本的惩罚强度, 值越大惩罚强度越低, 值越小, 惩罚强度越高; N为负样本数; $\cdot$为点乘操作. 由此可见, 当x靠近$x^+$, 并远离$x_i^ -$时, 式(1)的值最小.

针对水下图像增强, 如何构建用于对比学习的查询数据和正负样本是值得探索的问题, 这里将图像降质过程描述:

$I = J \otimes k + n$

(2)

其中, k为降质核; $\otimes$为卷积操作; n为噪声; I为降质图像; J为清晰图像. 可见, 同一张水下图像, 各处的降质核相同即都为k, 不同水下图像则降质核k不同. 因此, x与相匹配的$x^+$应来自具有相同降质核的同一张图像, 而$x_i^ -$则应来自不同降质核的不同水下图像. 考虑到大的样本数量, 能增强表征提取的学习能力, 我们用小的图像块来代替整张图像学习表征, 即随机从水下图像I中剪切两个图像块, 分别代表x与$x^+$. 因此, M张水下图像, 即得到2M个$x^+$与x的数据样本特征, 将其输入到编码器得到降质表征B_d, 再将B_d输入到包含两个全卷积层的多层感知层, 生成用于对比学习的查询数据特征x_j和正数据样本特征$x_j^ +$, 这里j代表第j张图像. 另一方面, 从剩余的N张水下图像上随机剪切N个图像块, 输入编码器和多层感知层, 得到负数据样本特征$x_i^ -$, i代表第i张图像. 式(1)可进一步改写为:

${L_{\rm cl}} = \sum\nolimits_{j = 1}^M { - \log \frac{{{{\mathrm{e}}^{{{{x_j} \cdot {x_j^+} } / \tau }}}}}{{\displaystyle\sum\nolimits_{i = 1}^N {{{\mathrm{e}}^{{{{x_j} \cdot x_i^ - } / \tau }}}} }} }$

(3)

通过最小化式(3), 训练降质表征提取网络100 epoch, 即可获得训练好的模型. 向预训练好的降质表征提取网络模型输入降质图像I, 即可获得准确的降质表征B_d.

1.2 多级小波变换的水下图像增强网络

在降质表征B_d的引导下, 多级小波变换的水下图像增强网络能感知降质, 对图像的颜色和细节实施有效地增强. 多级小波变换的水下图像增强网络结构如图1下半部分所示, 它包含2个卷积层和4个堆叠的增强单元, 每个增强单元的结构如图3所示, 均包含4个残差模块^[16]、1个降质感知模块和1个三级的小波变换模块. 假设输入的水下图像为I, 在降质表征B_d的引导下, 增强图像J可由式(4)计算得到.

$J = H_c^2\left( {H_e^4\left( {\left. {H_e^3\left( {H_e^2\left( {H_e^1\left( {H_c^1(I), {B_d}} \right), {B_d}} \right), {B_d}} \right), {B_d}} \right)} \right.} \right)$

(4)

其中, $H_e^k, k = 1, 2, 3, 4$为第k个增强单元的函数. $H_c^1$和$H_c^2$为第1个和第2个卷积层函数. 以k=1, 即第1个增强单位为例, 它又可一步表示为:

${F_o} = {H_{\rm Haar}}\left( {{H_{\rm aware}}\left( {H_{\rm RB}^4\left( {\left( {H_{\rm RB}^3\left( {H_{\rm RB}^2\left( {H_{\rm RB}^1({F_c})} \right)} \right), {B_d}} \right)} \right)} \right)} \right)$

(5)

其中, F_c为图1中第1个卷积层输出特征; $H_{\rm RB}^m, m = 1, 2, 3, 4$为第m个残差模块函数; ${H_{\rm aware}}$为降质感知模块函数; ${H_{\rm Haar}}$为三级小波变换模块函数. 由式(5)及图3所示, 当图像I进入4个堆叠的残差模块后, 其输出特征将联合降质表征B_d进入降质感知模块, 生成融合降质信息的图像特征, 进一步输入到后续的三级小波变换模块, 以便增强图像的颜色和细节信息. 在后续章节中, 将详细介绍降质感知模块和三级小波变换模块.

1.3 降质感知模块

为了使多级小波变换的水下图像增强网络感知降质, 设计了降质感知模块. 该模块旨在从降质表征B_d中学习降质感知的特征, 并将此特征与多级小波变换增强网络学习的图像特征自适应融合, 作为后续三级小波变换模块的输入, 以便三级小波变换模块实施增强. 具体来说, 第1.1节中获取的降质表征B_d将被输入2个全连接层和1个Reshape层来估计权重$\omega$ (见图4). 随后, 图像特征F将被核为$\omega$的深度卷积处理, 得到自适应降质感知的特征F_d, 将F与F_d融合即可得到输入三级小波变换模块的融合特征F_f. 这里, 可将图像特征F输入到4个卷积层和1个Sigmoid层, 以产生其值在0–1范围内的掩模M. 利用M实施融合:

${F_f} = F + {F_d} \cdot M$

(6)

其中, $\cdot$为点乘操作. M作为门限机制, 可帮助F与F_d实现像素级的特征融合操作.

1.4 三级小波变换模块

多级Haar小波变换是基于短时傅里叶变换思想的多尺度增强方法, 它利用低通滤波器和高通滤波器将空间域的图像信号映射到频率域, 并分为多个层次, 进而在频率域逐步细化增强频率信号, 最后再通过反小波变换将处理后的频率域映射到空间域. 考虑到Haar小波变换具有多分辨率, 由粗到细逐步细化高频图像信号(包含细节信息)和低频图像信息(包含颜色信息)的优势, 并在传统的图像增强领域取得了令人满意的增强效果, 我们将其引入到水下图像增强网络中, 提出了基于Haar的三级小波变换模块, 它包含Haar小波变换操作, 信号增强操作和反Haar小波操作, 其结构图如图5所示.

在三级Haar小波变换模块中, 首先使用Haar小波变换操作获得不同尺度的高低频特征, 以第n级小波变化操作为例:

${F}_{w}^{n}={H}_{c}(\left[{H}_{\rm DWT}({F}_{w}^{n})\right]),\;n=1, 2, 3$

(7)

其中, $F_w^{n - 1}$和$F_w^n$分别为n–1级和n级小波变换操作后的输出特征, ${H_{\rm DWT}}$为Haar小波变换操作函数, $\left[ \cdot \right]$为串联操作, 用于串联小波变换获得的高低频特征, ${H_c}$为卷积层函数. 值得注意的是, 当n=1时, $F_w^0$为三级小波变换模块输入.

随后, 利用3个残差模块对$F_w^n$实施信号增强操作:

${F}_{r}^{n}={H}_{\rm RB}^{3}({H}_{\rm RB}^{2}({H}_{\rm RB}^{1}({F}_{w}^{n}))),\;n=1, 2, 3$

(8)

其中, H_RB为残差模块函数, $F_r^n$为$F_w^n$增强后的特征. 由于$F_w^n$中包括含有细节的高频信息和含有颜色的低频信息, 通过增强操作, 可保留细节, 校正颜色.

特征细化后, 进一步采用反Haar小波操作将频率域的信号映射到空间域, 并加入上一级反小波操作的输出, 作为当前第n级反Haar小波操作最后输出的结果.

$\tilde F_w^{n - 1}{\text{ = }}{H_{\rm IDWT}}({H_c}(\tilde F_w^n)) + F_r^{n - 1},\; n = 2, 3$

(9)

其中, ${H_{\rm IDWT}}$为反Haar小波变换函数, H_c为卷积操作函数. $\tilde F_w^{n - 1}$为n–1级反Haar小波操作的输出. 在三级小波变换模块的帮助下, 多级小波变换的图像增强网络能有效地学习和处理水下图像的颜色和纹理特征, 更好地增强水下图像.

1.5 损失函数

为训练多级小波变换的水下图像增强网络, 采用式(10)定义的损失函数:

$L{\text{ = }}{L_2}{\text{ + }}{L_{\rm cl}}$

(10)

其中, L_cl的定义见式(3). L₂定义如下:

${L_2}{\text{ = }}\frac{1}{N}\sum\limits_{t = 1}^N {{{\left\| {{J_t} - {{\bar J}_t}} \right\|}_2}}$

(11)

其中, ${J_t}, t = 1, 2, \cdots , N$为多级小波变换水下图像增强网络输出的第t个增强结果, ${\bar J_t}$为对应的真实结果.

2 实验结果与分析 2.1 数据集及评估指标

本文选用了文献[13]提供的合成图像训练集及两个真实图像测试集UIEB^[17]和UCCS^[18]分别进行训练和测试. 合成图像训练集包含10种不同水类型的图像, 如I, IA, IB, II和III公共水域类型图像, 1, 3, 5, 7, 9沿海水域类型图像. 在合成过程中, 文献[13]选用1449张NYU-v2室内图像进行合成, 即每张图像选用不同的水下背景光及景深值合成10张不同水类型的图像, 故1449张室内图像可合成14490张合成水下图像, 其中13041图像为训练集, 剩余的1449张图像为合成图像测试集. 为验证算法的鲁棒性, 进一步选用包含不同降质程度及色偏的真实图像集UIEB^[17]和UCCS^[18]进行测试. UIEB包含890张不同降质程度的真实图像及已有水下图像增强方法获得的高质量增强参考结果, 利用UIEB进行测试可验证算法对不同降质程度的水下图像实施增强的效果. UCCS包含300张绿色、蓝色及蓝绿色调的真实水下图像, 利用UCCS进行测试, 可验证算法对不同颜色偏移的水下图像实施增强的效果.

在评估指标方面, 不但选用了有参考图评价指标峰值信噪比(PSNR)和结果相似性(SSIM), 还选取了无参考图评价指标(UIQM). PSNR将增强结果与真实结果相比对, 获得增强结果相对真实结果的失真程度. SSIM则从对比度、结构和亮度3个方面来评价增强结果与真实结果的相似度. PSNR和SSIM值越高, 增强结果越逼近真实结果. UIQM综合衡量图像的颜色, 清晰度及对比度, 其值越高则代表增强结果综合质量越好.

2.2 实验设置

基于降质感知的小波变换水下图像增强网络在NVIDIA RTX 2080Ti GPU配置环境下, 利用PyTorch框架实现. 在训练阶段, 使用Adam优化器来训练模型, 学习率为0.0001, ${\beta _1}$和${\beta _2}$分别选用默认参数0.9及0.999. 为训练基于对比学习的降质表征提取网络, 每张输入图像需随机剪切2个大小为48×48的图像, 且式(3)中的$\tau$和N分别设置为0.07和8 192. 随后, 将预训练100 epoch的降质表征提取网络模型与多级小波变换的水下图像增强网络共同训练500 epoch, 以获得最终的模型.

2.3 消融实验

为验证降质表征提取网络和三级小波变换模块对水下增强网络模型性能的影响, 在参数一致的情况下, 分别从完整网络模型中删除降质表征提取网络和三级小波变换模块, 进行对比实验. 这里将完整网络模型中删除了降质表征提取网络的变异模型记为无降质感知模型(w/o DW), 该模型中增强单元里的降质感知模块(见图4)因删除了B_d输入的分支及信息融合操作, 故仅保留4个残差模块. 将完整网络模型中删除了三级小波变换模块的变异模型记为w/o DT, 该模型的增强单元(见图3)删除了最后的三级小波变换模块(WTM). 变异模型和完整模型(Ours)在合成图像测试集上的性能对比如表1, 从中可见w/o DW和w/o DT均有大幅度的性能下降, 表明降质表征提取网络和三级小波变换模块在感知降质, 及在频率域上增强颜色和细节有重要贡献.

2.4 对比实验

本节将所提算法与近年来传统的水下图像增强算法, 如ULAP^[4], UNTV^[5]和CMWE^[8]和基于深度学习的图像增强算法如UWCNN^[12], UWGAN^[13]和CGN^[14]相对比. 其中, UWCNN^[12]分别对10种不同水类型的图像进行训练, 获得了10个训练的模型. 这里选择训练图像为沿海水域类型1的模型作为对比实验中UWCNN的模型.

(1)合成数据集上测试结果

合成图像测试集共包含合成水下图像1449张. 为展示不同算法的视觉增强效果, 选取3张不同降质程度的水下图像用于视觉展示, 结果如图6所示. 实验结果表明, UNTV和CMWE能有效提高对比度, 增强浑浊水下图像的清晰度, 但去雾效果较差, 增强结果存在雾效应, 如图6(c), (d)的第2行存在明显的薄雾. ULAP具有一定的去雾能力, 但对弱光照及重度浑浊的水下图像增强效果不理想, 如图6(b)第3行图像的色彩丰富度和清晰度不高, 细节丢失明显. 另一方面, UWCNN, UWGAN和CGN缺乏色彩校正能力, 处理后的图像具有明显的色偏, 如图6(e)–(g)第3行的增强结果出现失真的黄色. 本文算法对不同降质程度的水下图像均取得了理想的增强效果, 不但能去除雾效应, 提高对比度和清晰度, 还能有效校正色偏, 其增强效果(见图6(h))与真实结果(见图6(i))最为接近. 表2进一步统计了各算法在合成图像测试集上的平均量化结果, 从中可见, 本文算法具有最高的PSNR、SSIM和UIQM值, 这表明相比真实结果, 本算法结果失真程度小, 增强结果的综合质量高.

(2)真实数据集上测试结果

本节进一步在UIEB和UCCS真实数据集上进行测试, 以验证算法的鲁棒性. UIEB和UCCS数据集分别包含了不同水下场景的降质图像及不同类型的色偏图像. 首先, 从UIEB中选取了两张不同降质程度的水下图像(见图7(a)), 本文算法及水下增强算法的视觉结果如图7(b)–(h), 数据集提供的高质量增强参考图如图7(i)所示. 由图7可见, UNTV、HUIE、UWCNN、CGN方法增强的结果存在明显色偏, 如图7(c)–(g)第2行的图像颜色出现失真的暗蓝或暗红色. ULAP算法虽能校正颜色, 但细节恢复能力较差, 如7(b)第2行的珊瑚纹理较模糊. 相比而言, 本文算法不但能保留细节, 有效纠正色偏, 甚至比参考结果(图7(i))具有更高的细节恢复能力, 如图7(h)较图7(i)的细节和清晰度更高.

随后, 从UCCS数据集中选取了蓝色调及绿色调的真实水下图像(见图8(a)), 各算法的增强结果见图8(b)–(h). 由图8可见, UWGAN, UWGAN, CGN算法细节信息丢失, 且颜色校正效果不理想, 图8(e)–(g)第2行中的图像引入了明显的黄色偏. ULAP、UNTV、HUIE虽能增强细节, 有效去除蓝绿色背景, 但对局部区域过度增强, 导致丢失真实的颜色特征, 如图8(b)–(d)第2行中岩石的颜色呈现红色. 各算法在UIEB和UCCS数据集上的平均量化结果如表3和表4所示. 由于UCCS数据集没有提供参考增强结果, 故仅测量UIQM指标. 从表3、表4可见, 本文算法依旧获得最高的量化指标值, 尤其在UIEB数据集上, 本文算法的PSNR提升了16%, SSIM提升了9%, UIQM提升了14%.

3 结论

针对已有的水下图像增强网络不能感知降质, 易丢失细节, 无法有效纠正色偏等问题, 提出了降质感知的小波变换水下图像增强网络, 它主要包含对比学习的降质表征提取网络和多级小波变换的水下图像增强网络. 考虑到水下图像降质受多重因素影响, 且每张水下图像的降质信息不同, 采用降质表征提取网络来提取水下图像的降质特征, 即利用对比学习策略提取编码器生成的降质表征. 另一方面, 多级小波变换增强方法能在不同尺度下, 从频率域增强细节和颜色特征, 因此进一步提出了多级小波增强模块, 并以此模块构建了多级小波变换的水下图像增强网络. 将提取的降质表征引入到多级小波变换的水下图像增强网络中, 引导该网络有效地实施图像增强. 在大量合成图像和真实图像上的测试结果表明, 本文算法对不同降质程度的水下图像均能有效地保留细节, 校正色偏, 提升清晰度, 较已有的增强算法在结构相似性, 峰值信噪比, 水下图像质量指标上均有明显提升.