红外成像因其具有无源性、持续监测等特点, 已成为电力设备状态检测的主要手段^[1]. 运用红外成像技术被动和非接触式工作的特点进行电力设备状态检测, 能有效避免主动检测或接触式检测方式对电力设备工作状态造成干扰, 对电力设备运行安全保障至关重要. 但是, 红外成像技术也存在许多问题, 如自身分辨率较低、易受外界干扰、通讯易受电磁干扰, 这些问题会导致红外成像仪输出的红外图像含有噪声、细节纹理不清晰、图像整体模糊等问题, 不利于人眼观察和后续计算机分析处理^[2]. 因此, 红外图像增强技术对于研究低成本、便携式的红外成像设备至关重要.

对于图像的研究, 主要是有空间域方法即直接对像素进行操作和频域方法将图像像素矩阵转换到频域进行处理好再反变换回空间域^[3]. 直方图均衡的方法是常用的空域增强方法, 通过改变输入图像的灰度分布来提升图像的灰度动态范围, 改善人眼视觉效果, 但是会导致图像灰度级减少、细节消失、过增强等问题^{[4, 5]}. 小波变换是一种经典频域变换方法, 其基本原理是傅里叶变换, 通过改变频率系数来处理图像, 但容易出现系数选取问题, 导致图像失真^{[6, 7]}. 因此, 基于神经网络的红外图像增强算法受到广泛关注. 其中, 运用较为广泛的是基于视觉皮层的神经网络, 称为脉冲耦合神经网络(pulse coupled neural network, PCNN), 源于其对视觉皮层特性的研究, PCNN已成为图像处理的一种通用而且强大的工具^[8-10]. 但是, PCNN模型也有许多弊端, 其中之一就是需要设定大量的参数, 并且依赖于设置人员经验. 对于红外图像这种对比度低、目标轮廓不清晰的特点, 已有的PCNN算法不能在抑制噪声的同时增强图像^[11].

针对上述不足, 本文受到图像分割和融合思想的启发, 提出一种基于不可分离小波多尺度方向分析(non-separable wavelet based multiscale directional analysis, NSWMDA)和连接突触计算网络(linking synaptic computation network, LSCN)的红外增强方法, 通过冗余提升的不可分离小波(non-separable wavelet transform, NSWT)分离图像高低频分量, 对高频先采用方向滤波抑制噪声后, 再对近似子图和细节子图分别采用LSCN增强, 最后进行融合重构得到增强的红外图像.

1 连接突触计算网络原理

连接突触计算网络是由Zhan等^[12]于2017年提出的一种模拟人的神经连接突触机制的图像增强模型, 属于第3代人工神经网络. 该网络模仿生物视觉皮层在受到外部刺激时, 会产生生物电脉冲, 从而影响周围的神经元的行为, 将反馈输入作为外激励, 用内部活动作神经元状态的衰减项. LSCN是在PCNN的基础上改进的模型, 针对PCNN参数多、资源占用率高、人工依赖性强的不足, LSCN在输入机制上做了大量简化, 待参量也大大减少. PCNN模型中采用3个漏积分器, 并进行两次卷积运算^[13]. LSCN中保持了3个漏积分器, 但是减少了一次卷积运算, 大大降低了计算复杂度, 并且使得外激励和内部活动的关系更加直接. LSCN相比传统PCNN, 最大的优势就是其迭代过程自动停止, 无需手动设置. LSCN的神经元结构如图1.

在LSCN神经元中, 采用漏积分器来描述神经振荡器的动电势u(t), 可离散简化为:

$ U(n) = {l_r}U(n - 1) + s $

(1)

其中, s为输入信号, U(n)为离散动电势, n为离散时间, l_r为漏积分衰减常数.

连接突触计算网络由连接突触C、膜电位M、神经阈值D组成, 均被实例化为漏积分器. 其模型表达式如下:

$ {C_{ij}}(n) = h{C_{ij}}(n - 1) + \sum\limits_{pq} {{W_{ijpq}}{P_{pq}}(n - 1)} $

(2)

其中, 像素神经元用(i,j)表示, 相邻的像素神经元用(p, q)表示, n为离散时间, h是连接常数, W_ijpq是连接权重, P_pq(n–1)是突触后动作电位.

$ {M_{ij}}(n) = a{M_{ij}}(n - 1) + {S_{ij}}(1 + \alpha {C_{ij}}(n)) $

(3)

其中, a为膜电位衰减常数, S_ij为外刺激信号, α为连接强度系数.

$ {D_{ij}}(n) = g{D_{ij}}(n - 1) + \beta {P_{ij}}(n - 1) $

(4)

其中, g是阈值衰减常数, β为幅度调整系数.

$ {P_{ij}}(n) = \left\{ \begin{gathered} 1, \;{\text{ }}{M_{ij}}(n) > {D_{ij}}(n) \hfill \\ 0, \;{\rm{otherwise}} \hfill \\ \end{gathered} \right. $

(5)

突触后动作电位产生代表着神经元点火成功. 点火成功后, 神经元的阈值D_ij会因为反馈信号而快速上升, 由式(5)可知, 阈值大于膜电位时, 神经元会终止发射尖峰脉冲. 神经元停止发射脉冲后, 阈值会再次因为反馈信号而降低, 神经元再次点火发射, 如此反复. 当网络中所有的神经元全部点火成功后, 迭代停止.

2 改进的LSCN算法 2.1 本文算法框架

传统的LSCN解决了PCNN中参数设置的问题, 但是存在一些潜在的问题. 根据LSCN的原理可知, 神经元之间通过互相影响来使细节得到增强, 对于图像中的一些高频噪声也会被识别为图像细节进行增强. 对于红外图像而已, 噪声远多于一般可见光图像, 这就会导致增强效果不理想, 信噪比低. 针对传统的LSCN算法存在的放大噪声和细节边缘不够突出的问题, 本文提出一种改进的基于NSWMDA的LSCN算法. 算法框架如图2所示.

非下采样轮廓波变换(non-subsampled contourlet transform, NSCT)是一种图像二维表示方法, 其采用多尺度分解捕获奇异点将图像进行拆分^[14]. NSCT不仅可以保持contourlet变换的多分辨率、局部化和多向性等优良特性, 具备平移不变的特点, 还能消除Gibbs现象. NSCT采用的是非下采样金字塔(non-subsampled pyramid, NSP)对图像进行处理, 但是NSP变换对细节的捕捉能力较弱^[15], 而红外图像本身的细节纹理不够明显, 所以传统的NSCT变换对红外图像, 特别是兴趣区域不明显的红外图像并不友好. 基于不可分离小波的多尺度方向分析方法(NSWMDA)采用冗余提升的不可分离小波来替代NSCT中的NSP分解以提高对细微细节信息的捕捉能力. NSWMDA首先对图像进行不可分离小波变换, 生成低频轮廓子带和高频细节子带, 然后对高频细节子带进行方向分解, 以增强细节子带的方向分辨率. 不可分离小波变换具有多分辨率和局部化时间和频率的特性, 还具有高度的方向性和各向异性. 其能对图像进行多尺度细化分析, 符合人眼观察特性. LSCN对高频信息和低频信息的敏感度不同, 对源图像直接进行LSCN增强会导致噪声被放大. 因此, 本算法利用NSWMDA的多尺度多方向分析特性对源图像进行预处理, 将源图像分解成低频近似子带和高频细节子带, 再结合LSCN对分离后的图像进行处理, 增强图像对比度和细节纹理, 最后进行融合叠加得到完整的红外增强图像.

Step 1. 原始红外图像进行NSWT变换, 得到低频近似子带和高频细节子带;

Step 2. 对高频子带, 首先进行NSDFB多方向滤波, 减少噪声干扰, 然后, 利用LSCN增强, 得到滤波以后的增强的细节子图;

Step 3. 对低频子带, 采用LSCN进行增强, 得到增强后的模糊子图;

Step 4. 将增强后的细节子图和模糊子图进行NSWT反变换重构, 得到增强后的红外图像.

2.2 冗余提升的不可分离小波变换

NSWT由于存在下采样环节, 会导致平移可变, 在处理图像中的奇异信息时, 会产生Gibbs现象, 不利于图像的处理. 为解决这一问题, 本文采用基于冗余提升的NSWT变换将原始红外图像分解成高频子带和低频子带.

传统的小波变换算法中, 分裂方法采用的是将数据分成两个集合, 这样产生的子带数据就变为原来的一半. 数据量的减少虽然加快了运行速度, 但也意味着带来了平移可变, 不利于图像处理. 基于冗余提升的NSWT采用复制的方式来处理数据, 每次变换产生的子带与原数据量相同, 并在滤波器中进行插值运算就可实现多分辨率分解. 冗余提升的NSWT变换实现过程如图3所示.

设原始图像的输入信号为I_m, 则冗余提升NSWT可分为以下步骤:

Step 1. 复制

将原始信号I_m复制到L_m和H_m, 其中, L_m是原始图像的低频子带, H_m是原始图像的高频子带.

Step 2. 预测

根据低频信息L_m的4邻域中的最大值来预测高频信息H_m.

Step 2.1. 水平/垂直方向预测

$ {H_{(i, j)}} = {H_{(i, j)}} - \max [{L_{(i - 1, j)}}, {L_{(i, j - 1)}}, {L_{(i, j + 1)}}, {L_{(i + 1, j)}}] $

(6)

其中, $i\bmod 2 \ne j\bmod 2$ .

Step 2.2. 对角方向预测

$ {H_{(i, j)}} = {H_{(i, j)}} - \max [{L_{(i - 1, j - 1)}}, {L_{(i - 1, j + 1)}}, {L_{(i + 1, j - 1)}}, {L_{(i + 1, j + 1)}}] $

(7)

其中, $i\bmod 2 = j\bmod 2 = 1$ .

Step 3. 更新

根据高频信息H_m的4邻域中大于零的值来更新高频信息L_m.

Step 3.1. 水平/垂直方向更新

$ {L_{(i, j)}} = {L_{(i, j)}} + \max [0, {H_{(i - 1, j)}}, {H_{(i, j - 1)}}, {H_{(i, j + 1)}}, {H_{(i + 1, j)}}] $

(8)

其中, $i\bmod 2 \ne j\bmod 2$ .

Step 3.2. 对角方向更新

$ \begin{split} &{L_{(i, j)}} = {L_{(i, j)}} + \max [0, {H_{(i - 1, j - 1)}}, {H_{(i - 1, j + 1)}},\\ &\quad\quad\quad{H_{(i + 1, j - 1)}}, {H_{(i + 1, j + 1)}}] \end{split}$

(9)

其中, $i\bmod 2 = j\bmod 2 = 1$ .

2.3 高频增强

原始红外图像通过NSWT变换后得到高频子带和低频子带, 高频子带包含了噪声和图像边缘纹理细节. 在传统的LSCN算法中, 噪声会引起周围领域像素点火, 从而增大噪声像素范围. 为了避免噪声对纹理增强产生干扰, 本算法采用的是改进的非子采样方向滤波器对高频子带进行方向滤波, 可以得到对角线方向、水平方向、垂直方向分量.

改进的非子采样方向滤波器NSDFB (non-sub-sampled directional filter bank)是一个双通道的滤波器, 其省去了二维方向滤波器组(directional filter bank, DFB)的下采样步骤, 并对滤波器进行相应的上采样便可得到NSDFB. NSDFB与严格采用方向滤波器组的滤波器类似, 都是由单个的扇形滤波器得到, 且计算复杂度不变^[16]. 如图4所示, 为一个4通道NSDFB分解图.

在NSDFB中加入上采样(sup q(d)为采样阶数上界限)是为了在不增加计算量的前提下, 消除吉布斯效应. 对于采样矩阵S和二维滤波器D(m), 则滤波输出y[n]采用卷积公式:

$ y[n] = \sum\nolimits_{{\textit{z}} \in \sup q(d)} {d[{\textit{z}}]x[n - S{\textit{z}}]} $

(10)

经过方向滤波以后的各方向高频分量会抑制噪声, 减少噪声干扰. 在高频分量中细节纹理由于像素与周围像素的连接强度W_ijpq小, 会对周围的非纹理细节部分的像素产生抑制, 减少其点火行为, 增强自身的点火次数, 迭代结束以后, 纹理细节更加突出而背景和噪声则被抑制. 对增强后的各方向高频分量采用加权平均融合的规则得到增强后的细节子图.

2.4 低频增强

低频子带主要包含的是图像的整体模糊信息, 没有清晰的边界, 具有较为集中的灰度. 根据LSCN模拟视觉神经的工作方式的特点, 当某像素与周围的像素的灰度接近时, 会刺激该像素(i, j)与其周围的像素(p, q)同时点火, 产生脉冲输出P_ij(n)=1, 该信号会影响周围像素的点火状态, 依次产生迭代, 直到所有的像素都参与点火, 终止迭代. 低频增强通过模糊子图各相邻像素之间相互影响从而平滑灰度, 使图像更加平滑, 灰度分布更均匀. 经过处理后得到的高频子图 $H_m^{'}$ 和低频子图 $L_m^{'}$ , 进行融合叠加后进行NSWT反变换得到红外增强图像 ${O_m}$ .

$ {O_m} = {\cal F}\left\{ {L_m^{'} + H_m^{'}} \right\} $

(11)

3 实验与分析

为验证基于不可分离小波多尺度变换的LSCN图像增强算法的可行性和有效性, 本文选取了普通场景红外图像(“吉普车”)和电力应用场景(“变压器”)红外图像进行实验分析. 分别对这两幅红外图像采用直方图均衡增强算法(histogram equalization, HE)、PCNN、LSCN、多尺度Retinex增强算法(multi-scale Retinex, MSR)、本文算法进行红外图像增强, 并对增强结果进行主观和客观分析来验证本算法的优越性. 实验软件环境: Matlab R2020a; 硬件环境: AMD R7-4800H 2.9 GHz处理器, 16 GB 运行内存, Nvidia GTX1650 4 GB显卡. 实验结果如图5和图6所示, 不同方法平均运行时间如表1所示.

3.1 主观分析

图像背景的亮度和对比度对人眼视觉的感受影响较大, 并且人眼对低频中的噪声敏感度大于高频区域. 从图5和图6的实验结果可以看出, HE算法和MSR算法在一定程度上提升了图像细节纹理, 但同时使局部位置的灰度过大或过小, 亮度失衡, 图像出现部分失真; PCNN算法增强效果并不显著, 图像清晰度不高, 并且对比度和细节处理有待提高; LSCN算法突出了原图的细节纹理, 但整体对比度并无明显增强; 本文算法相比上述4种算法, 处理后的图片不仅整体清晰度增强, 对比度有较大提高, 细节纹理也更加丰富. 从主观角度, 本文所提出的算法整体人眼视觉效果较好, 具有亮度均衡、对比度明显、细节较为丰富、噪声小、目标容易识别等特点.

3.2 客观分析

通过多次运算得到表1, 结果表明, 最简单的HE算法运算速度最快且基本不受图像复杂度影响, 相比而言基于神经网络的算法(LSCN、PCNN和本文)计算速度较慢, 这是因为这几种方法都需要进行迭代, 计算复杂度更高, 并且还会受到图像复杂度的影响, PCNN算法每进行一次迭代, 就要对满足条件的像素点的3×3邻域进行局部中值滤波, 即对每个像素的邻域元素求中值, 并且每次都要进行2次卷积计算, 大大增加了计算量, 因此计算速度最慢. 本文在LSCN每次迭代只需进行一次卷积计算基础上, 通过引入冗余提升不可分离小波, 虽然提升了算法复杂度, 但是由于高低频分离后的图像, 在进行LSCN处理时, 迭代次数变少, 总的运行时间与改进前的方法增长较小, 并且通过进一步改进小波分离方法和参数, 可进一步缩短运行时间.

为深入分析上述5种算法的增强质量, 本文选取边缘强度(edge intensity, EI)、信息熵(information entropy, IE)、峰值信噪比(peak signal-to-noise ratio, PSNR)、结构相似度(structural similarity index measure, SSIM)、平均梯度(average gradient, AG) 5种常用客观评价指标对增强图像进行评价. 上述5种评价指标值越大, 增强效果越好. 评价结果如表2、表3所示.

由表2中实验结果可以得到, 本文算法在EI、IE、PSNR、SSIM、AG五类指标均高于其他4种算法, 对比其他算法各指标分别至少提高了15.30%、2.40%、4.95%、3.69%、6.86%. 由表3中实验结果可以得到, 本文算法在EI、IE、PSNR、SSIM、AG五类指标均高于其他4种算法, 对比其他算法各指标分别至少提高了10.86%、14.39%、19.95%、7.06%、6.70%. 从以上数据可以看出, 对待不同复杂程度和不同背景的红外图像, 本算法的客观指标均较其他算法好, 以“变压器”为例, 各项指标较其他各算法归一化增长幅度如图7所示.

从以上归一化后的图7可以看出, 本文算法的各项指标均较其他算法更好, HE算法和MSR算法的各项指标较为均衡, 均处在中等水平; PCNN算法各项指标差异较大, 这主要是因为PCNN算法需要设置大量参数, 而这些参数很大一部分需要依靠设置人员的经验来设置, 一旦经验不足, 设置的参数不好, 就会导致增强效果不理想; 与本文最为接近的是LSCN算法, 本算法在其基础之上进行了NSWMDA多尺度分析, 分离出图像的不同成分, 再利用LSCN算法进行增强, 很好地发扬了LSCN算法能自适应参数并自动停止迭代的优势, 解决了传统LSCN算法在增强的同时放大了噪声, 导致SSIM指标骤降的缺点.

4 结论与展望

针对红外图像对比度低、细节模糊等问题进行算法改进研究, 提出一种基于NSWMDA多尺度分析和LSCN的红外图像增强方法. 目前, 大多数文章采用的是PCNN的增强方法, 该方法参数设置过多, 依赖设置人员的经验. 本文采用在其基础上改进而来的LSCN模型, 结合图像融合的思想, 将红外图像进行NSWMDA多尺度分解, 对细节子图和轮廓子图进行分别处理以后, 再将两幅子图叠加重构, 得到增强后的红外图像. 实验证明, 此方法有效的解决了传统的LSCN算法对细节加强的同时也放大噪声的缺陷, 不仅提高了图像整体清晰度, 减少并抑制了大部分噪声, 同时图像的纹理细节也得到了加强, 人眼视觉效果和客观评价指标均较目前主流方法更好. 下一步研究将考虑在增强后的灰度图像上添加伪彩, 提升人眼视觉效果, 并进一步改善算法的计算速度, 以运用在电力设备红外在线监测上.