随着多媒体技术的发展, 图像成为信息交流和传递的重要载体, 因此对其清晰度的要求越来越高. 图像在采集、压缩、传输、重建等各阶段都可能发生失真, 模糊是最常见的一种图像失真类型^[1]. 因此对模糊图像进行有效的质量评估尤为重要.

图像质量评价方法分成主观评价和客观评价. 主观评价法^[2]直接利用人的主观感知评估图像质量, 受主观性强, 工作量大等因素的影响, 该方法在实际应用中并不可取. 客观评价法^[3]通过提取图像特征和人眼视觉特性来模拟人眼感知图像. 根据对理想参考图像的依赖程度, 客观评价法又可分为有参考评价法和无参考评价法^[3]. 有参考图像评价方法是指在选择理想图像作为参考图像的情况下, 通过比较待测图像和参考图像之间的差异来分析待测图像的失真程度. 而无参考图像则是一种完全脱离了对理想参考图像依赖的图像质量评价方法. 由于在工业应用中通常难以获得理想的参考图像, 因此仅使用待测图像进行质量评估的无参考方法具有更好的实用价值.

客观的图像质量评价依赖于有效的视觉特征^[4]. 视觉系统对图像的轮廓和纹理等对比度信息更为敏感. 受此启发, 本文采用视网膜感知图像机制获取图像中的细节信息. 此外, 由于图像中的任何变化都会对奇异值向量产生明显影响, 因此利用奇异值向量来衡量图像的内部结构变化. 最后, 比较待测图像和其再模糊图像之间的细节和奇异值变化作为评估图像质量的特征向量, 利用SVR训练回归模型, 根据回归模型预测出待测图像的质量得分.

1 模糊图像质量评价模型

本文提出的评价模型流程图如图1所示.

1.1 基于视网膜模型的细节信息提取

视网膜细胞相互连接, 形成外丛状层(OPL)和内丛状层(IPL), 每一层都可用特定的滤波器建模^[5]. OPL的输出原理近似高斯差分(DoG): 双极细胞分别接受由光感受器细胞和水平细胞输出的信号, 双极细胞接收来自光感受器输出的信号时, 能够激发双极细胞的感受野中心, 使其表现为兴奋的状态. 当双极细胞接收由水平细胞传送的信号时, 水平细胞能对光感受器进行抑制反馈, 削弱了光感受器输出的信号, 这时双极细胞表现为抑制状态. 双极细胞接收到两个状态相反的信号, 因而它的感受野呈现为中心-周边拮抗形式,可由DoG滤波器近似表示:

$ DoG = {G_{\sigma 1}} - {G_{\sigma 2}} $

(1)

式中, ${G_{\sigma 1}}$ 和 ${G_{\sigma 2}}$ 分别表示标准差为 $\sigma 1$ 和 $\sigma 2$ 的高斯滤波器, 即:

${G_\sigma } = \frac{1}{{2\pi {\sigma ^2}}}{{\rm{e}}^{ - \textstyle\frac{{\left( {{x^2} + {y^2}} \right)}}{{2{\sigma ^2}}}}}$

(2)

提取图像细节信息的视网膜模型如图2所示.

图2中, ${F_{ph}}$ 和 ${F_h}$ 分别表示模拟视网膜的光感受器ph和水平细胞网络h的高斯滤波器. 光感受器根据局部亮度来调整它的灵敏度, 将输入图像的当前亮度 $R(p)$ 归一化为 $[0,{V_{\max }}]$ . 经光感受器调整后输入图像的亮度 $C(p)$ 为:

$C(p) = \frac{{R(p)}}{{R(p) + {R_0}(p)}} \cdot {V_{\rm max}} + {R_0}(p)$

(3)

其中,

${R_0} = {V_0}L(p) + {V_{\rm max}}(1 - {V_0})$

(4)

式中, ${V_{\max }}$ 表示图像中允许的最大像素值, $L(p)$ 为局部亮度, 由输入图像与模拟光感受器的高斯滤波器 ${F_{ph}}$ 相卷积获得. ${V_0}$ 表示为取值范围在[0,1]之间的静态压缩参数, 它的作用是调整局部适应效果, 使系统更加精确.

将亮度 $C(p)$ 分别与 ${F_{ph}}$ 、 ${F_h}$ 卷积后获得光感受器的输出 $B{P_{ph}}$ 和水平细胞的输出 $B{P_h}$ . 这时双极细胞的作用使OPL输出两个相反状态的通道, 即 $Bi{p_{\rm on}}$ 和 $Bi{p_{\rm off}}$ , 它们分别表示了光感受器和水平细胞图像差值的正、负部分:

$Bi{p_{\rm on}} = B{P_{ph}} - B{P_h}$

(5)

$Bi{p_{\rm off}} = - B{P_{ph}} + B{P_h}$

(6)

将 $Bi{p_{\rm on}}$ 和 $Bi{p_{\rm off}}$ 传送到神经节细胞的局部亮度调节模型进行调整, 神经节细胞中局部亮度调节模型模型如式(3)和式(4)所示. 最终获得输入图像的细节信息:

$D = \sqrt {\left| {Bi{p_{\rm on}} - Bi{p_{\rm off}}} \right|} $

(7)

通过比较待测图像与其再模糊图像之间的细节相似度得到图像的相似特征向量. 再模糊图像由待测图像经高斯低通滤波器后获得:

${\hat I}(x,y) = I(x,y)\otimes{G_\sigma }$

(8)

式中, $I(x,y)$ 表示待测图像, ${\hat I}(x,y)$ 表示待测图像经高斯低通滤波器再模糊后的图像, ${G_\sigma }$ 表示标准差为 $\sigma $ 的高斯滤波器.

按模糊程度由小到大构造了待测图像的4个不同模糊度的再模糊图像. 图3展示待测图像和其4个再模糊图像经视网膜模型后提取的细节信息图. 可以看出, 当图像越模糊, 其所包含的细节信息越少.

计算待测图像和其4个再模糊图像之间的细节相似度, 将其作为细节相似特征:

$ {f}_{i}=\frac{1}{MN}{\displaystyle \sum _{x=1}^{M}{\displaystyle \sum _{y=1}^{N}\frac{2{D}_{i}(x,y){D}_{0}(x,y)}{{D}_{i}{(x,y)}^{2}+{D}_{0}{(x,y)}^{2}}}}$

(9)

式中, ${D_0}$ 表示待测图像的细节信息, ${D_i}$ 表示第i幅再模糊图像的细节信息, ${f_i}$ 表示待测图像和第i幅再模糊图像之间的细节相似特征.

1.2 奇异值向量

图像结构随图像质量的变化而发生改变, 而奇异值向量的变化能够很好的反映出这种图像结构的变化^[6]. 因此将奇异值向量之间的相似度作为评估图像的另一特征向量. 一个大小为 $M \times N$ 的图像I可分解为 $I = $ $ US{V^{\rm{T}}}$ ,其中 $U,V$ 分别是 $M \times M$ , $N \times N$ 的酉矩阵. $S$ 是一个主对角线元素为奇异值, 且按奇异值大小降序排列的对角矩阵. 设r表示图像矩阵I的秩, 则奇异值向量可表示为 $s = \left( {{\lambda _1},{\lambda _2},\cdots{\lambda _i}} \right),{{i}} = 1,2,\cdots,r$ .

比较待测图像和4个再模糊图像之间奇异值向量的相似度:

${f_{{j}}} = \frac{{2{s_j}{s_0}}}{{{s_j}^2 + {s_0}^2}},j = 1,2,3,4$

(10)

式中, ${s_j}$ 表示第j个再模糊图像的奇异值向量, ${f_j}$ 表示待测图像和第j个再模糊图像之间的奇异值相似特征.

图4展示了两张不同模糊度的图像. 其中, 灯塔图和帽子图的DMOS值分别为21.65和40.80, DMOS值越小, 图像越清晰. 图5给出了这两幅图像和其各个再模糊图像之间细节相似度和奇异值相似度的变化情况. 由图5可见, 不管是细节相似度还是奇异值向量相似度, 待测图像越清晰相似度变化越明显. 此外对于同一幅图像, 随着模糊程度的加深, 相似度曲线的变化开始变缓.

2 SVR训练与预测

由于支持向量回归模型SVR能有效的处理多维数据, 因此可以利用SVR将特征映射成一个总体质量分数. 本文分别计算待测图像与其4个再模糊图像之间的细节相似度和奇异值相似度, 并将它们作为度量图像质量的特征. 每幅图像可提取8维特征, 将提取的8维特征作为SVR的输入数据, 将待测图像的MOS值或DMOS值作为对应的SVR输出值, 对SVR进行训练. 对于SVR回归模型可以表示为:

$\mathop {\min }\limits_{\omega ,b} \frac{1}{2}{\left\| \omega \right\|^2} + C\sum\limits_{i = 1}^m {{l_i}(f({x_i};\omega ,b) - {y_i})} $

(11)

我们将8维相似度特征作为输入向量 ${x_i}$ , 将MOS值或者DMOS值作为输出值 ${y_i}$ , 训练并得到 $\omega $ 和b, 即SVR回归模型. 然后利用训练得到的回归模型 $f(x;\omega ,b)$ 预测出待测图像的客观评价值.

本文使用libSVM^[7]实现了SVR. 由于径向基函数具有快速收敛性, 且近似于非线性函数, 因此选择径向基函数作为SVR的核.

3 实验结果与分析 3.1 图像质量评价数据库

本文选用了4种常用的图像质量评价数据库: LIVE数据集^[8], CSIQ数据集^[9], TID2008数据集^[10]和TID2013数据集^[11]来比较本文提出的方法与其它无参考模糊图像质量评价方法的性能. LIVE和CSIQ提供图像的平均主观得分差(DMOS)值. TID2008和TID2013则提供图像的平均主观得分(MOS)值. DMOS值越小表示图像质量越好, MOS值则相反.

3.2 图像质量评价指标

本文采用Pearson线性相关系数(PLCC), Spearman秩相关系数(SROCC)和均方根误差(RMSE)作为算法性能的评价指标^[12]. PLCC用来描述图像主观得分和客观算法评价值之间的相关性, 其定义为:

$PLCC = \frac{{\displaystyle\sum\limits_{i=1}^N {({x_i} - \bar x)({y_i} - \bar y)} }}{{\sqrt {\displaystyle\sum\limits_{i=1}^N{{({x_i} - \bar x)}^2}\cdot \displaystyle\sum\limits_{i=1}^N{{({y_i} - \bar y)}^2}} }}$

(12)

式中, ${x_i}$ 表示第i个图像的主观得分, ${y_i}$ 表示第i个图像的客观算法评价值. $\bar x$ 和 $\bar y$ 分别表示主观得分和客观算法评价值的均值. SROCC用来衡量算法预测的单调性, 其定义为:

$SROCC = 1 - \frac{6}{{N({N^2} - 1)}}\sum\limits_{i = 1}^N {d_i^2} $

(13)

式中, ${d_i}$ 是数据集中第i个图像的主观得分和客观算法评价值在各自数据序列中的排列位置之差. RMSE比较主观得分和客观算法评价值之间的绝对误差, 定义为:

$RMSE = \sqrt {\frac{1}{N}\displaystyle\sum\limits_{i=1}^N {{{({x_i} - {y_i})}^2}} } $

(14)

式中, N是数据集中的图像总数, ${x_i}$ 表示第i个图像的主观得分, ${y_i}$ 表示第i个图像的客观算法评价值.

由于客观算法评价值和图像的主观得分之间具有一定的非线性. 为了消除这种非线性, 需要在主观和客观得分之间提供一个非线性的逻辑映射函数:

$f(x) = {\beta _1}\left( {\frac{1}{2} - \frac{1}{{\exp ({\beta _2}(x - {\beta _3}))}}} \right) + {\beta _4}x + {\beta _5}$

(15)

式中, $x$ 和 $f(x)$ 分别为客观算法评价值和拟合后图像的质量得分, $\; {\beta }_{\rm{1} },\;{\beta }_{2},\;{\beta }_{3},\;{\beta }_{4},\;{\beta }_{5}$ 为回归参数.

3.3 实验结果与分析

为了验证算法是否符合人类视觉系统特性, 本文使用了两种类型的统计分析方法: 一是用SROCC评估预测的单调性; 二是用PLCC和RMSE评估预测的精确度.SROCC和PLCC值越接近于1, RMSE值越小则表示越接近于人类的主观感知.

表1列出本文算法和其他8种评价模型Marziliano^[13], JNB^[14], CPBD^[15], S3^[16], LPC^[17], MLV^[18], BIBLE^[19]和RISE^[20]在4个数据集上的3种性能指标. 在本次实验随机选取LIVE数据库中80%的图像训练模型, 剩余的图像用于测试. 由表1可知, 本文方法在TID系列数据集上的测试结果低于RISE算法. 除此外, 本文算法在预测精度和单调性上都优于其他方法.

4 结语

本文通过视网膜模型和奇异值向量提取图像中有效的视觉特征, 并用它们训练支持向量回归模型, 根据得到的回归模型预测待测图像的客观评价值. 与其他常用的评价模型在4个图像数据集上的比较显示, 本文提出的算法能够获得与主观评价更加一致的评价值. 下一步研究的重心将放在如何进一步提高图像质量预测结果上.