1 引言

由于拍摄目标物的不稳定性以及光线叠加作用, 使得模糊图像的复原成为图片处理领域的一个重要方向. 恰当的处理对于犯罪现场的取证、大气气候的勘察与界定以及交通监控超速车辆车牌等有着重要意义.

人类的眼球存在视觉暂留效应, 当人类看运动的物体时, 看到的每一帧画面都是一个时间长度大约为1/24秒的运动过程. 动态的画面每一帧都是模糊的. 当我们得到一张动态模糊的图片时, 由于图片模糊, 我们很难看清图片中的

文字、场景等具体细节. 此时需要设计一个合理的数学模型, 使模型能够对图像进行处理, 以达到当得到一张动态模糊的图片时, 能够尽可能地得到清晰的画面, 并能识别图片中的文字、场景的目的. 为了便于考虑和建模, 论文中假设图片的模糊是由于摄像机的运动导致的, 即图中的全部画面都以一个相同的速度运动.

图像复原领域的传统方式包括: (1) 频域法, 包括逆滤波法、小波变换法等. 其中徐大宏^[1]主要采用基于正则化的处理方法, 围绕图像去噪、图像去模糊两个方面进行构造正则项和模型求解. 高如新等人^[2]提出一种基于双边滤波的去高光方法, 能够有效去除图像的多区域局部高光, 完成图像复原. 黄文辉等人^[3]在图像客观测试峰值信噪比的基础上, 对测试模糊及方块效应等算法进行改进. 金飞等人^[4]提出改进的维纳滤波图像复原算法, 对退化图像进行二次维纳滤波. (2) 非线性代数复原法, 包括最大熵复原法、神经网络法等, 其中唐贤伦^[5]通过建立条件深度卷积生成对抗网络模型提高图像的识别准确率. 徐一峰^[6]对深度学习和生成对抗网络的各种模型和应用进行总结和讨论. 兰妙萍等人^[7]将卷积神经网络和BP神经网络相结合, 解决了传统图像复原对先验知识具有依赖性的问题. (3) 线性代数复原法, 包括有约束复原法、无约束复原法、奇异矩阵分解(SVD)法等, 梁晓萍^[8]主要研究了运动图像去模糊等算法, 对于有无噪声和实拍情景均有一定效果. 吴秋峰^[9]主要围绕散焦图像的图像去模糊和深度估计进行研究. 张玉叶^[10]等人利用多个点扩散函数(PSF)具有联合可逆性的特点, 对多点扩散函数联合进行图像复原. Zikmund T等人^[11]提出的算法使用加权最小二乘曲面识别并分割相位图像中. (4) 频谱外推法等, 包括外推法、能量连续降减法等. 在应用领域Chaira T等人^[12]主要研究模糊集理论, 并将其应用到图像阈值化, 分割, 边缘检测, 增强等工作中. 袁飞等人^[13]对当前多种网络上的视频质量客观评价算法进行研究. Zhou W等人^[14]针对网络传输视频过程中的失真问题, 对客观图像和视频质量的评估展开研究.

本文提出一种基于维纳滤波器和生成对抗网络的动态模糊图像处理方法. 维纳滤波用来去除含有噪声的模糊图像, 其目标是找到未污染图像的一个估计, 使它们之间的均方差最小, 可以去除噪声, 同时清晰化模糊图像. 不同图像由于拍摄设备的移动不同, 预测很难通过单一方式找到对于所有图片的普适性还原模型, 因而尝试选择了自由性强、不受预定条件分布的生成对抗网络处理图像.

2 相关算法及方法 2.1 维纳滤波去模糊算法

基于滤波的去模糊是通过一些滤波估计器, 从观察到的模糊图像u₀中估计出理想的清晰图像s, w为相应的滤波器, 如式(1)表示:

$ \hat u = \hat u_w = w \times u_0 $

(1)

对于没有受模糊影响的噪声图像的纯去噪过程, 线性滤波可认为是一个自然的通过卷积来抑制噪声的工具, 对于去模糊, 可认为是通过另一个卷积操作来去除某一个卷积操作影响的尝试. 例如在不考虑噪声的情况下, 可通过傅里叶频域的形式(式(2))表示, 其中傅里叶变换为已知, 频域量记为 $\omega = \left( {\omega {\rm{_1,}}\omega {\rm{_2}}} \right) $ :

$ W(\omega ) = \frac{1}{{K(\omega )}} $

(2)

从上式角度来看, $ \hat u = w \times u_0 \equiv u$ 对于任何清晰图像u, 都很容易实现. 但是通常一个典型的模糊核K是低通滤波器, 其傅里叶变换 $ K(\omega )$ 在高频部分容易引起迅速的衰变, 导致其过程中的不稳定性, 甚至使复原图像严重失真.

为了解决复原过程中这一不稳定因素, 改进上式为:

$ W(\omega ) = \frac{{{K^*}(\omega )}}{{K(\omega ){K^*}(\omega )}} = \frac{{{K^*}}}{{{{\left| K \right|}^2}}} $

(3)

其中, *表示复数的共轭, 并尝试通过加上一个正数因子 $r = r(\omega )$ 来正则化分母在高频部分时的不稳定因素:

$ W \to W_r = \frac{{{{\rm{K}}^{\rm{*}}}}}{{{{\left| {\rm{K}} \right|}^{\rm{2}}} + r}} $

(4)

假设估计的结果记为 $ \hat u_r$ , 则

$ \hat u_r = {\rm{W}}_r \times k \times u $

(5)

或者在傅里叶频域中:

$ {{W_r}}K(\omega ) = \frac{{{{\left| {K(\omega )} \right|}^{\rm{2}}}}}{{\left| {K{{(\omega )}^2}} \right| + r(\omega )}} $

(6)

在 $r < < {\left| K \right|^2}$ 的低频部分, 图像的复原近似等同于预期; 在 $ r > > {\left| K \right|^2}$ 时, 由于k几乎消失的缘故, 高频部分严重扭曲. 因此正则化因子r相当于一个阈值的作用.

由于图像噪声会对去模糊产生影响, 所以选取一个最优的正则化因子尤为重要, 为此我们采用维纳最小均方误差原来实现.

2.2 生成对抗网络模型(GAN)

生成对抗网络(GAN)是于2014年新型提出的, 启发于博弈论中的二人零和博弈, 其中包含了一个类生成器和一个类判别器. 类生成器根据输入噪声信号生成“看上去和真实样本差不多的”样本, 类判别器用来区分类生成器生成的样本和真实样本. 以生成照片为例进行说明(G为类生成器, D为类判别器):

(1) G接收一个随机的噪声x, 通过这个噪声生成照片, 记作G(x).

(2) D(y)判别这个照片是不是“真实的”. 它的输入参数为y, y代表一张照片, 输出结果为D(y)代表y是真实照片的概率, 如果是1, 代表是真实照片, 而输出0, 代表不是真实照片.

(3)在整个训练过程中, 类生成器尽量生成真实照片欺骗类判别器. 而类判别器尽量把真实照片和类生成器生成照片区分开来. 这样就实现了一个动态的“博弈过程”.

作为最新形式下的机器学习, 生成对抗网络相比于一般神经网络, 具有输出图像高清、高锐以及对生成器和判别器普适性的优点; 相比于其他生成式模型, GAN不再需要一个预先设定的数据分布, 具有拟合的最大自由性.

3 基于维纳滤波器和GAN的动态模糊图像处理 3.1 维纳滤波算法的设计

维纳滤波假设去模糊估计结果图像 $ \hat u$ 是模糊图像u₀与最优滤波器w(X)的滤波处理结果:

$ \hat u_w = w \times u_0 $

(7)

维纳滤波器w(x)是使得均方估计误差

$ \ell _w(X)= \hat u_w(X)- u(X) $

(8)

达到最小的最优滤波器:

$ \begin{array}{l} w = {\arg _h}\min E\left[ {e_k^2} \right] = {\arg _k}\min E( h{\rm{*}}u_0(X)- u(X){)^2} \end{array} $

(9)

其产生正交条件:

$ {\rm{E}}\left[ {\left[ {\left( {w \times u_0(X) - u(X)u_0(Y)} \right)} \right]} \right] = 0,\forall X,Y \in \Omega $

(10)

按相关函数可变换为:

$ w \times R_{u0u0}(Z)= R_{uu0}(Z),Z \in {R^2} $

(11)

从而得到最优维纳滤波器的显式形式:

$ {\rm{W}}(\omega )= \frac{{R_{uu0}(Z)}}{{R_{u0u0}(Z)}} $

(12)

针对模糊图形 $ u_0 = k \times u + n$ , 有:

$ S_{uu0} = \frac{{{K^{\rm{*}}}(\omega )S_{uu}}}{{{{\left| K \right|}^2}S_{uu} + S_{nn}}} = \frac{{{K^*}}}{{{{\left| K \right|}^2} + r}} $

(13)

其中, 正则化因子 $ r = snn/suu$ 是噪声信号比的平方.

3.2 生成对抗网络模型的设计

具体过程如下:

(1)输入样本: 输入数据集r(x), 设定其为真实数据样本.

(2)随机生成: 通过随机输入数y, 生成参考是数据样本 s(y).

(3)鉴定: 在鉴别网络中, 接收来自参考数据样本s(y). 和真实数据样本r(x), 开始鉴定过程.

(4)学习训练:

① 训练判别器, 在不干涉生成器的情况下, 使得参考数据样本s(y)和真实数据样本r(x)的差别尽可能小.

② 训练生成器, 在不干涉判别器的情况下, 使得参考数据样本s(y)和真实数据样本r(x)的差别尽可能大.

(5)判断: 利用Sigmoid函数, 当对s(y)返回1, 而r(x)返回0时, 重复进行(4), 直至分类器对两者都判为真.

(6)验证: 当训练结束后, 观察输出结果, 验证是否具有一定的迷惑性.

用数学表达式表示为:

$ \begin{aligned} \min {{G}}\max D = &{E_{x\sim Pdata(x)}}\left[ {\log D(x)} \right]\\ &+ {E_{y\sim py(y)}}\left[ {\log(1 - D(G(y)))} \right] \end{aligned} $

(14)

${E_{x\sim Pdata(x)}}\left[ {\log D(x)} \right] $ 中, x表示真实样本, D(x)表示x通过判别网络判断其为真实样本的概率; $ {E_{v\sim Py(v)}}$ $ \left[ {\log(1 - D(G(y)))} \right]$ 中, y表示输入生成样本的噪声, G(y)表示由生成网络由噪声y生成的样本, D(G(y))表示生成样本通过判别网络后, 判断其为真实样本的概率.

4 实验及结果分析

在上述滤波实验后, 我们发现单纯使用传统方式处理模糊图像, 并未得到较清晰的效果, 考虑到可能是由于无法判定拍摄装置的移动方位, 使得图片的还原不够精准, 故使用生成对抗网络模型(GAN), 通过类生成器和类判别器得到在原图像上由于位移的影响重叠和损失的有效点, 并由此得到更加清晰的图像. 对于本题图像去模糊的流程如图3.

利用这种方式可以在一定程度上解决了图像在限定条件下, 无法判断模糊缘由导致的滤波误差, 在这种近似“机器学习”的基础上, 通过“点找点”的方式较好的还原了模糊的图像. 将这种模糊轨迹定义为“模糊核”, 这使得每一幅图像按照各自定义的特殊模糊核进行还原, 因而具有可识别性以及较高的还原度, 如图4.

从图4(a)可以看出在帆船周边和山体的轨迹不一致, 通过做出“模糊核”的轨迹, 再进行复原得到图4(b), 此时尽管由于复原后仍存在一定程度的边缘模糊情况, 但图像清晰度明显得到改进. 我们再通过选择其他数据集, 利用指标对于复原后的一些图像进行对比, 用三个评价指标对这些图像进行客观评价——峰值性噪比PSNR、模糊系数KBlur、质量因素Q, 下面分别给出三个评价指标的定义:

峰值性噪比PSNR, MSE为原图像与处理图像的均方误差, 假设图像大小为 $W \times H$ .

$ PSNR = 10\lg (\frac{{{{255}^2}}}{{MSE}}) $

(15)

$ MSE = \frac{1}{{WH}}\sum\limits_{i = 1}^{WH} {{{(x_i - x_j)}^2}} $

(16)

模糊系数KBlur:

$ KB{{lur}} = \frac{{S_{i,put}}}{{S_{i,in}}} $

(17)

$ S_i = \sum\limits_i {\sum\limits_j {y_f(i,j,k)} } $

(18)

质量因素Q:

$ {\rm{Q}} = \frac{{4\delta _{xy}\bar x\bar y}}{{(\delta _x^2 + \delta _y^2)({{(\bar x)}^2} + {{(\bar y)}^2})}} $

(19)

$ \bar x = \frac{1}{N}\sum\limits_{i = 1}^N {x_i} ,\bar y = \frac{{\rm{1}}}{N}\sum\limits_{i = 1}^N {y_i} $

(20)

$ \delta _x^2 = \frac{1}{N}\sum\nolimits_{i = 1}^N {{{(x_i - \bar x)}^2}} $

(21)

$ \delta _y^2 = \frac{1}{N}\sum\nolimits_{i = 1}^N {{{(y_i - \bar y)}^2}} $

(22)

$ \delta _{xy} = \frac{1}{{N - 1}}\sum\limits_{i = 1}^N {(x_i - \bar x)(y_i - \bar y)} $

(23)

对roma, outdoor, lion, girl, flower, building, boat等7组图片进行处理, 每组中选出三个样本, 选取其中比较清晰的图片作为参照, 通过MATLAB程序计算其余各图片的PSNR, KBlur, Q指标, 得到以下结果:

在上述图表中可以看出, 通过生成对抗网络(GAN)的还原, 图片的PSNR, Q指标上升, Kblur指标下降, 因而得出图像还原较为成功的结论.

5 结束语

在科技进步的时代背景下, 人们对于清晰照片的渴望日益增强, 本文提出了一种基于维纳滤波器和生成对抗网络的动态模糊图像处理方式, 通过选取最优正则化因子以及类生成器模拟数据样本从而对模糊图像进行复原, 并对评定图像清晰度的影响因素指标进行测量, 进而得到图像复原较为成功的结论. 由于模糊图像的复原涉及到很多不可定因素的影响, 故本文限制前提条件为: 图像的模糊是由于拍摄设备移动因素造成的. 然而实际生活中, 因受所拍物体移动的影响, 导致图像中的全部物体并非按照同一频率、同一方向模糊, 此时可以对各类影响因素之间的协同变化做进一步研究.