1 引言

图像融合是图像恢复领域的一个重要技术分支. 当环境处于光线不足的情形下, 视觉成像设备捕捉到的图像和视频往往是低亮度的, 且无法精确地获得其中细节信息. 这些低亮度成像环境对实际生活有很大影响, 例如, 在夜间交通道路上, 监控摄像头无法清晰获取行人的面部信息和闯红灯的车牌号. 由于相机的动态曝光水平有限, 在光线较强时进行拍摄, 图像背光也是低亮度视觉的一种情形. 具有亮背景区域和暗前景区域的图像不易被人眼同时观察到目标和其他细节信息. 因此, 衍生图融合技术的关键在于精确提取衍生图的特有信息, 以获得环境自然性更好, 细节恢复更优良, 整体视觉更利于人眼观察的图片^[1].

衍生图融合算法有效地解决了实际生活中相机动态范围小的缺陷, 提高了图像的清晰度, 并能够保留图像很好曝光率区域的同时, 精确地恢复低亮度区域信息. 目前, 在一些最新的图像增强与融合的论文中使用了Retinex相关理论^[2], 该理论可将图像看反射率和光照两部分. 基于Retinex理论的早期实验, 例如单尺度Retinex (Single-Scale Retinex, SSR)^[3]和多尺度Retinex (Multi-Scale Retinex, MSR)^[4], 其把反射率评估为增强结果. 最近, 具有色彩修复的多尺度Retinex (Multi-Scale Retinex with Color Restoration, MSRCR)^[5]的出现可以有效地减少过度亮度增强并恢复色彩保真度. 文献[6]提出一种快速算法来对倒置的低亮度图像进行去雾和增强. 文献^[7]提出了一种对于同时反射率和光照估计的加权变分模型(Simultaneous Reflectance and Illumination Estimation, SRIE)可合理地调整亮度评估以获得增强的图像. 文献[8]提出一种保持自然性增强算法(Naturalness-Preserving Enhancement, NPE)使亮度分布不均匀图像可通过使用亮通道和双对数变换来评估和调整光照. 文献[9]提出了一种基于照明映射评估的低亮度图像增强方法(Low-light Image Enhancement, LIME)设计了一种结构感知平滑模型, 以实现精准的照明评估和极好的亮度一致性. 文献[10]提出了一种多偏差融合方法(Multi-deviation Fusion method, MF)融合了初始评估的照明映射的多个偏差以优化照明映射. 尽管这些方法对低亮度图像的不同区域像素都起到一定的恢复效果, 但仍无法恢复具有丰富纹理细节图像的真实感.

针对上述提出的一些先进方法的不足, 本文提出了一种基于亮度评估技术的特征增强衍生图融合算法, 能够有效地解决融合结果可能是自然但不明显, 或者其细节明显但整体亮度太亮的问题. 在实际应用中, 主要工作包括: 该方法可处理任何单一低亮度图像, 无需同一场景的多个不同亮度镜头图像^[11]; 使用一种新颖的亮度增强模型来获得自然性更好图像, 和细节清晰但亮度曝光过度的图像; 再通过使用改进的衍生图融合算法来融合不同特征的两个衍生图, 可保留自然性和细节优良区域.

2 曝光率映射

为了保留衍生图中丰富的结构信息和去除纹理边缘的噪声, 在使用非线性函数模型增强之前, 先获取图像的曝光率映射. 本文选用亮度评估技术来获得图像曝光率映射, 亮度评估技术总体框架如下:

1) 初始化亮度评估映射. 参考颜色不变性方法中的一种方法, 通过寻找输入图像 $L(x)$ 中3个颜色通道(R, G, B)的最大值(Max-RGB)作为初始化亮度评估映射 $\mathop L\limits^ \wedge (x)$ ^[12], x表示图像像素值, 表达如下:

$\mathop {{L}}\limits^ \wedge ({{x}}) = \mathop {{\rm{max}}}\limits_{c \in \left\{ {R,G,B} \right\}} {{{L}}^c}({{x}})$

(1)

2) 权值矩阵设计. 将初始化亮度评估映射大小缩小为原来的1/2, 对缩小之后的初始化亮度评估映射分别进行行差分运算 ${\nabla _h}$ 和列差分运算 ${\nabla _v}$ . 获取 ${\nabla _h}$ 和 ${\nabla _v}$ 之后, 再分别对其进行相关滤波操作^[13], 滑动相关核 ${w} ({x} )$ 为[1, 1, 1, 1, 1]和[1, 1, 1, 1, 1]^T. 将差分运算结果与相关滤波操作结果进行对应相乘再取其倒数得权值矩阵, 表达如下:

${{ W} _d}(x) = \frac{1}{{\left| {\displaystyle \sum\limits_{y \in { w} (x)} {\mathop { L} \limits^ \wedge (y) \cdot {\nabla _d}\mathop { L} \limits^ \wedge (y)} } \right|}} , d \in \left\{ {h,v} \right\}$

(2)

3) 亮度评估映射. 步骤1)得到的初始化亮度评估映射可以稍微地增强图像的局部一致性, 但是增强结果是具有盲目结构性的, 无法很好恢复高动态范围获取的图像结构. 接下来, 在其基础上我们使用了一个卓越的优化算数方程来同时保留图像的整体结构和平滑纹理细节. 将步骤2)得到的 ${{{W}}_d}(x)$ 和步骤1)得到的 $\mathop {\mathop{ L}\nolimits} \limits^ \wedge (x)$ 分别与亮度评估映射 ${{T}}(x)$ 组合得 ${\left\| {{{T}}{(}x{)} - \mathop {{L}}\limits^ \wedge {(}x{)}} \right\|_F}$ , ${\left\| {{{{W}}_d}(x) \cdot {{T}}(x)} \right\|_{{l}}}$ 在两个表达式之间我们使用系数a来平衡两者的关系. ${\left\| { \cdot } \right\|_F}$ 表示Frobenius范数^[14], 即矩阵中各项元素的绝对值平方的总和; ${\left\| { \cdot } \right\|_{\rm{l}}}$ 表示关于 ${{{W}}_d}{(}x{)}$ 与 ${{T}}(x)$ 之间的运算, 运算准则为: $\displaystyle\sum\limits_x {\displaystyle\sum\limits_{d \in \left\{ {h,v} \right\}} {\frac{{{{{W}}_d}(x{)(}{\nabla _d}{{T}}(x){)^2}}}{{\left| {{\nabla _d}{{L}}(x)} \right| + \delta }}} } $ , 其中 $\delta $ 表示一个非常小的常数为了避免表达式中分母为零, h和v分别表示差分运算的行操作与列操作. 一个表达式用来控制图像的整体结构, 另一个表达式用来控制图像的纹理细节, 结合两个表达式, 得亮度评估映射的表达式为:

$\mathop {\min }\limits_{T} {\sum\limits_x {\left( {{{T}}(x) - \mathop {{L}}\limits^ \wedge (x)} \right)} ^2} + a \cdot \mathop {\lim }\limits_{\delta \to {0^{{ + }}}} \sum\limits_x {\sum\limits_{d \in \left\{ {h,v} \right\}} {\frac{{{{{W}}_d}(x{)(}{\nabla _d}{{T}}(x){)^2}}}{{\left| {{\nabla _d}{{L}}(x)} \right| + \delta }}} } $

(3)

4) 曝光率映射. 根据视网膜图像增强^[15], 在源图像的暗区域分配一个较大的曝光率, 而在图像的亮区域分配一个较小的曝光率. 再模拟人脑皮层具有自动调节亮度的功能, 将得到的结果进行约束来获取实际应用的曝光率映射, 常数u用来避免曝光率映射成为无穷大, 表达如下:

${{K}}(x) = \min \left( {\frac{1}{{{{T}}(x)}},u} \right)$

(4)

3 改进的卡方分布函数模型

为了优化图像融合过程中源图像的质量情况, 一种改进的卡方分布函数模型被用于本文方法中. 基于改进的卡方分布函数模型步骤如下:

1) 为了更好地获取不同优良特征的衍生图, 将低亮度图像与使用我们模型获取的亮度增强图像进行对比并获取两者的直方图, 通过观察两者亮度的变化情况来获取一种非线性的对应关系, 如图1所示. 我们使用非线性函数模型来表示低亮度图像变换到亮度增强图像的过程, 即:

${{{R}}_o}(x) = {{I}}({{{R}}_i}(x),k)$

(5)

其中, ${{{R}}_i}(x)$ 表示低亮度图像, ${{{R}}_o}(x)$ 表示亮度增强图像, k表示曝光率映射, I表示亮度增强的非线性函数模型.

2) 通过观察和分析卡方分布概率密度函数^[16]和其曲线的变化情况, 当调节函数中的参数达到一定值时, 曲线值随着x的增大, 先增大后减少, 适合于图像像素值在较小时通过函数来增大, 较大时而得到减小. 并且为了更好地实现增强图像, 我们在其基础上提出了一种改进的卡方分布函数, 即:

${{f}}(x) = \left\{ {\begin{array}{*{20}{l}} {{2^{\tfrac{x}{2}}} \cdot {x^{\left( {\tfrac{a}{2}-1} \right)}} \cdot {e^{ - \tfrac{x}{2}}},}&{x > 0}\\ {0,}&{{\text{其他}}} \end{array}} \right.$

(6)

其中, a表示在 ${{x}} > {{0}}$ 情况下的模型参数. 因为在模型中将带入曝光率k的值, 且 ${{k}} > {{0}}$ , 因此我们主要考虑 ${{x}} > {{0}}$ 的情况.

3) 通过将曝光率映射 ${{K}}(x)$ 替换该函数的自变量并结合输入图像来构成改进的卡方分布函数模型. 再对参数a进行调节来获得两幅特征不同的衍生图, 即:

${{{R}}_o}(x) = {2^{\tfrac{{{{K}}(x)}}{2}}} \cdot {\left( {\frac{{K(x)}}{2}} \right)^{\left( {\tfrac{a}{2} - 1} \right)}} \cdot {e^{ - \tfrac{{K(x)}}{2}}} \cdot {{{R}}_i}(x)$

(7)

4 衍生图融合框架

近年来, 利用基于金字塔融合的方法^[17]来对低亮度图像进行亮度增强, 将权值与输入图像相乘求和得到的融合效果并不理想. 当控制权值映射不正确时, 生成的融合图像容易出现亮度和结构畸变. 由于图像中纹理细节较多的区域处于低曝光或高曝光状态时, 图像中一些重要的信息无法观察和分析. 针对上述问题, 我们通过选择边缘检测^[18]、对比度拉伸^[19]和亮度评估来设计一种新的权重映射来进行融合增强.

4.1 权值映射设计

构造权值映射通过3种度量方法. 1) 边缘检测. 边缘检测中的Canny算子是最有效的边缘检测算法. Canny边缘检测算法不是简单的模板卷积, 而是利用梯度方向和双阈值方法检测边缘点. 2) 对比度拉伸. 对比度拉伸通过采用分段线性变换函数来扩展图像灰度级的动态范围. 从对比度拉伸图像中可以看出, 亮度明亮区域的对比度拉伸较宽, 亮度暗区域的对比度拉伸较窄. 3) 亮度评估. 亮度评估操作可以有效地进行局部平滑, 对增强图像中亮度过亮或过暗的区域及其周围进行评估, 从而减少亮度恢复异常.

通过对衍生图进行边缘检测 ${{{W}}_{E D}}(x,y)$ 、对比度拉伸 ${{{W}}_{C S}}(x,y)$ 和亮度评估 ${{{W}}_{B E}}(x,y)$ 的观察和分析, 发现各个指标可分别观察到亮度增强图像中的不同细节成分. 结合金字塔融合增强理论, 将3个测量指标相乘得到图像融合参数, 即图像融合的权值映射:

${{W}}(x,y) = {{{W}}_{E D}}(x,y) \times {{{W}}_{C S}}(x,y) \times {{{W}}_{B E}}(x,y)$

(8)

然后对图像融合的权值映射(N=2)标准化, 即:

${{W}} _k'(x,y) = {\left[ {\sum\limits_{k{{ = }}1}^N {{{{W}}_k}(x,y)} } \right]^{ - 1}} \cdot {{{W}}_k}(x,y)$

(9)

利用上述权值映射, 在图像融合过程中可有效对过曝光区域进行低权值分配, 并对低亮度区域进行高权值分配. 为了解决在融合过程中由于图像亮度差异导致的融合结果不自然的问题, 我们引入金字塔融合来获取更好的融合图像, 以有效减少融合过程中局部连接处变形、信息丢失等异常局部区域.

4.2 改进的金字塔融合

首先, 将两幅亮度增强的衍生图放于拉普拉斯金字塔中, 提取图像特征, 并分解成不同分辨率的多尺度金字塔图像序列. 序列的区域大小依次改变为前一层图像大小的1/4. 然后, 将优化后的标准权值映射分解为高斯金字塔序列 ${{G}}{\left\{ {{{W}}_k^{ ' }(x,y)} \right\}^l}$ ^[20], 再将其与拉普拉斯金字塔的多尺度图像 ${{L}}{\left( {{2^{\frac{{{{K}}(x)}}{2}}} \cdot {{\left( {\frac{{K(x)}}{2}} \right)}^{\frac{a}{2} - 1}} \cdot {e^{ - \frac{{K(x)}}{4}}} \cdot {{{R}}_k}(x,y)} \right)^l}$ 平滑组合得金字塔融合序列 ${{{R}}^{ l}}(x,y)$ , 表达式如下:

${{{R}}^{ l}}(x,y) = \sum\limits_{k{{ = }}1}^2 {\sum\limits_{l{{ = }}1}^7 {L{{\left\{ {{2^{\frac{{K(x)}}{2}}} \cdot {{\left( {\frac{{K(x)}}{2}} \right)}^{\frac{a}{2} - 1}} \cdot {e^{ - \frac{{K(x)}}{4}}} \cdot {{{R}}_k}(x,y)} \right\}}^l} \times {{G}}{{\left\{ {{{W}}_k^{ ' }(x,y)} \right\}}^l}} } $

(10)

其中, l表示金字塔序列的层数, 它的值设置为7, k表示融合图像的数量, k的值为2.

最终的融合图像 ${{{R}}_{\rm{final}}}$ 通过以下操作实现, 即:

${{{R}}_{\rm{final}}}(x,y) = \sum\limits_{l{{ = }}7}^1 {{{{R}}^l}(x,y) + {{{U}}_d}({{{R}}^l}(x,y))} $

(11)

其中, ${U_d}$ 表示带有系数为 $d = {2^{l - 1}}$ 的上采样操作. 本文算法结构如图2所示.

5 实验结果分析

为了验证本文方法的有效性和获取更好的感知视觉效果, 本文使用了6种近几年提出的亮度增强算法: 多尺度Retinex (Multiscale Retinex, MSRCR)算法、基于去雾增强技术(Dehazing-based, Dong)算法、保留图像自然性增强技术(Naturalness Preserved Enhancement, NPE)算法、多偏差融合(Multi-deviation Fusion, MF)算法、同时使用反射和照明评估(Simultaneous Reflection and Illumination Estimation, SRIE)算法和基于亮度评估增强(illumination estimation-based method, LIME)算法作为实验对比算法. 同时分别计算3组客观评价指标: 视觉信息保真度(Visual Information Fidelity, VIF)、亮度误差(Lightness Order Error, LOE)以及图像互信息(Mutual Information, MI)来对融合图像质量进行评估. 对于视觉信息保真度和图像互信息, 值越大, 表明融合效果越好; 而对于亮度误差, 值越小, 表明效果越好. 选取低亮度图像Tower和Plaza为实验数据集, 其中, 图3和图4为源图像与不同算法实验结果对比. 实验环境为: Windows 10, Intel Corel CPU 3.00 GHz, RAM16 GB, Matlab R2015b.

在表1所示的客观评价指标数值中, 本文方法在LOE和MI两项指标上, 全部优于近年来的新方法. 虽然从表1中获得的VIF指标不是最高的, 但是通过观察实验图像可得, 本文方法获得的增强图像已经可以获得很好的视觉信息. 并且结合数据和实验图像发现, 如方法LIME, 当VIF值越大时, LOE值伴随着也会增大, 观察该方法获得的增强图像发生了亮度失真.

在本测试中, 我们首先使用带有局部曝光率映射的非线性函数对低光图像进行适当的亮度增强. 当本文方法中参数a的值满足一定条件时, 函数值随自变量的增大而先增大后减小. 因此, 采用该方法合理地增强低亮度区域亮度和抑制高亮度区域亮度. 然后对该像素值周围亮度分布进行评估, 并根据曝光率映射进行准确的亮度增强. 由于亮度增强方法导致整体视觉效果不理想, 因此通过调整融合参数, 得到了具有不同优良特征信息的两幅衍生图.

在融合过程中, 我们设计了权值映射来整合两幅衍生图的优良特征. 在权值映射设计中, 我们加入了对比度拉伸来增强融合结果的前景和背景区域的局部对比度. 同时, 为了避免融合结果的边缘噪声对图像造成严重的噪声, 我们在权值映射中加入了边缘检测来进行优化. 为了更好的评价和调整融合后图像的亮度分布, 我们在权值映射中加入了亮度评估, 使融合后的图像更具有自然性. 最后, 采用改进的权值映射的金字塔融合方法, 得到的融合图像能够更好地突出图像细节, 使整体图像在视觉上更具有自然性并且信息失真更少.

6 结语

本文针对金字塔融合方法提出一种有效恢复图像亮度和保留图像自然性的基于亮度评估技术的特征增强衍生图融合算法. 首先对低亮度图像像素值使用亮度评估技术, 结合Retinex理论和大脑皮层调节原理, 得到曝光率映射. 然后引进了基于改进的卡方分布函数模型对单一低亮度图像进行亮度与细节的增强, 从而获得两幅不同特征性能的衍生图来进行图像融合. 最后通过改进的金字塔融合方法来获得清晰的融合图像. 实验结果表明, 通过结合图像的自然性, 细节恢复程度, 亮度扭曲情况考虑, 获得的融合图像在图像边缘和轮廓细节得到了较好的保留, 其融合效果在视觉感知方面优于其他现有的几种方法, 这意味着本文图像融合算法具有可行性和一定的优越性.