光伏玻璃的缺陷显著图检测

引用本文

王哲, 李文书. 光伏玻璃的缺陷显著图检测. 计算机系统应用, 2018, 27(4): 167-172.http://www.c-s-a.org.cn/1003-3254/6300.html

Wang Z, Li WS. Defect Saliency Detection on Photovoltaic Glasses. Computer Systems and Applications, 2018, 27(4): 167-172(in Chinese).http://www.c-s-a.org.cn/1003-3254/6300.html

光伏玻璃的缺陷显著图检测

王哲¹, 李文书²

1. 浙江理工大学, 杭州 310018;
2. 上海交通大学生命科学与技术学院, 上海 200240

收稿日期：2017-07-24; 采用时间：2017-08-17; csa 在线出版时间：2018-03-31

摘要：在光伏玻璃加工生产中, 常常伴随着气泡、结石等可能对生产过程造成破坏性故障的缺陷, 如何可靠地检测出玻璃的缺陷显得至关重要. 为了有效地从周期性纹理中分离出缺陷, 引入了一种基于图像对比和图像签名的方法计算显著图. 一方面利用中央-周边算子求取候选显著图, 另一方面先后对原图进行离散余弦变换, 图像签名方法, 反离散余弦变换和高斯模糊等方法求得重构显著图, 最后通过线性乘将两个显著图进行融合. 实验结果显示, 本算法对玻璃缺陷的提取效果明显优于其他7个显著性算法.

关键词: 光伏玻璃缺陷图像对比图像签名

Defect Saliency Detection on Photovoltaic Glasses

WANG Zhe¹, LI Wen-Shu²

1. Zhejiang Sci-Tech University, Hangzhou 310018, China;
2. School of Life Science and Technology, Shanghai Jiaotong University, Shanghai 200240, China

Abstract: Defects like bubble and solid inclusion may disrupt the photovoltaic manufacturing process. The reliability to detect the defect of Photovoltaic Glass is particularly important. In order to separate defects from periodic background, this study introduces a novel approach to estimate saliency using image contrast and image signature. On the one hand, candidate saliency is computed based on center-surround contrast. On the other hand, original image is firstly converted by DCT transform, then the sign operation is applied to produce the image signature and the reconstructed image is computed by IDCT transform. Later the Gaussian kernel is applied to gain the reconstructed saliency. Finally, the reconstructed saliency is used to fuse the candidate saliency. Experiment results show that the proposed method gains relatively accurate saliency regions compared to the 7 methods.

Key words: photovoltaic glass defect image contrast image signature

光伏玻璃的工业生产对质量要求非常高, 任何一个细微的技术差错会使玻璃出现开口泡、圆泡、结石和脏污等缺陷. 有些缺陷会破坏生产过程, 甚至危及生命安全. 而传统的人工检查不能时刻保持较低的误检率, 因此智能缺陷检测也逐渐被应用于工业生产中. 尽管如此, 如何从光伏玻璃中的纹理中提取缺陷在图像处理中始终是一个课题. 视觉显著图通过模拟人的视觉特点, 能够使目标物体或目标像素区别于周围^[1].

早期Itti利用一种二层的生物学显著性模型, 定义了一种中央-周边方法来计算各个特征, 最终线性组合得到显著图^[2]. 随后, 不同于Itti, Harel利用马尔科夫方法稳定分布的特性来提出了一种基于图论的显著图(GB)^[3]. Hou提出了谱残差法(SR), 该方法主要在频域中去除背景^[4], 其处理速度明显优于前算法. 因此一些在频域中结合傅立叶变换的算法也逐渐流行^[5]. Achanta等人使用低层特征来生成高分辨率的显著图^[1], 并且其速度快于Itti的模型. 但这个模型还存在问题, 之后Achanta引入了一个更好的模型——频率调谐^[6], 该方法通过分析空间频率的中央像素与周边像素的颜色和亮度等特征来计算显著性图, 该方法在保证较高运行速度的同时能得到一个良好的显著图. 然而该方法无法区分感兴趣区域和背景区域间对比不明显的图像. 尽管如此, 一些基于此方法的算法陆续被提出^[7,8]. Kulshreshtha在图像平滑中选择小波变换使算法的性能达到最佳^[7]. 类似地, Zhai和Shah在基于全局对比度的基础上利用直方图对像素进行操作^[9]. Ming-Ming Cheng利用直方图对像素进行颜色对比, 产生显著图^[10], 在文章的最后, 他也对该方法进行了改进, 提出了一种包含空间权重的区域对比算法(RC).

文章在第1部分介绍了频率调谐方法, 第2部分介绍了图像签名方法, 随后第3部分提出了基于图像对比和图像签名相结合的算法对玻璃图像的缺陷进行准确的提取和定位. 为了评估算法的性能, 第4部分对比了7种优秀的算法, 实验结果表明本文算法能较好地提取玻璃缺陷. 第5部分是对本文的总结.

1 频率调谐

频率调谐方法(FT)是利用中央-周边的颜色对比来计算显著图^[6]. 图像I在被高斯模糊后转换到L*a*b颜色空间中, 在求取每个颜色空间的平均特征向量后, 通过欧式距离求取显著图.

计算公式如下:

$S(x,y) = \left\| {I{}_{mean}^{} - {I_{Lab}}(x,y)} \right\|$

(1)

其中 $I_{L a b} (x, y)$ 是高斯模糊后的图像在各个颜色空间中的像素坐标, $‖ ‖$ 代表欧式距离, I_mean为图像的平均特征向量, 它的计算公式如下:

$I{}_{mean}^{} = \frac{1}{{H \times W}}\mathop \sum \limits_{i = 1}^H \mathop \sum \limits_{j = 1}^W I(i,j)$

(2)

在公式中, H和W分别代表图像的高和宽, I(i, j)是输入图像I在各个颜色空间中的像素点坐标.

2 图像签名

在文献[11]的方法中, 输入图像I首先通过离散余弦变换进行转化, 然后对转化后的图像进行sign操作, 生成签名图像, 该过程由以下公式表示:

I S i g (I) = s i g n (D C T (I))

(3)

其中ISig为签名图像. I为输入图像, sign()为矩阵的符号函数. 为了简化公式, 将 $\hat{I}$ 作为输入图像I的离散余弦变换. 为了准确地检测空间分布上稀疏的像素信息并有效地抑制噪声, 反离散余弦变换用于重构图像签名. 重构过程定义如下:

\bar{I} = I D C T (I S i g (I)) = I D C T (s i g n (\hat{I}))

(4)

然后运用一个高斯核对经过分素乘积运算的重构图像进行平滑, 其定义如下:

S = g * (\bar{I} \circ \bar{I})

(5)

其中g是高斯核, *是卷积运算, $\circ$ 是分素乘积运算.

3 基于图像对比和图像签名的方法

为了满足实时检测的需求, 该方法对灰度图像进行处理. 首先, 候选显著图S₁通过FT算法计算得到, 在计算过程中用均值滤波替换了传统的高斯模糊. 本文选用3×3的滤波窗口, 并在图像的边缘部分对其进行弱化处理. 但是当玻璃的自然纹理和缺陷图像都比较明显的时候, 传统的FT算法会将背景纹理当作缺陷, 因此生成的候选显著图S₁除了显示玻璃缺陷信息外还显示了背景纹理, 并不能够有效地区分背景纹理和缺陷区域. 为了解决这个问题, 本文引入图像签名方法计算重构图像S₂. 一般来说, 一副图像可以分为前景和背景. 不同于以往算法, 图像签名着重于提取图像的前景信息, 由于前景信息在图片的空间分布中是稀疏的, 可以通过离散余弦变换和符号操作对图像进行处理. 最终的显著图S是由候选显著图S₁和重构显著图S₂通过线性乘融合得到. 新算法的显著图不仅保留了FT算法显著区域边缘轮廓的特性, 还在提取前景信息(缺陷区域)的基础上抑制了背景信息(周期性纹理), 保证了图像的处理速度. 其融合公式如下:

S = S_{1} \times S_{2}

(6)

简而言之, 该算法(见图1)可以分成两部分, 第一部分是获得候选显著图S₁, 第二部分是计算重构的显著图S₂. 具体流程如下:

图 1 算法流程图

算法. 基于图像对比和图像签名的算法
1) 用均值滤波对输入图像进行平滑;
2) 根据公式(2)计算平滑图像I_mean的平均特征向量;
3) 根据公式(1)通过计算欧式距离得到候选显著图S₁;
4) 对输入图像进行离散余弦变换(DCT);
5) 根据公式(3)运用符号函数生成签名图像ISig;
6) 根据公式(4)对签名图像ISig进行反离散余弦变换(IDCT);
7) 根据公式(5)运用高斯核对经过分素运算的重构图像 $\bar{I}$ 进行平滑处理, 得到显著图S₂;
8) 最终根据公式(6)对两个显著图进行线性乘融合, 得到最终的显著图S.

4 实验和结果

本节在几个实验中运用F-measure值, ROC曲线, PR曲线, AUC值等指标对算法的视觉注意预测、显著区域提取和运算速度等性能进行评估^[12,13]. 通过设定一个固定阈值可以最快地获得缺陷图像的二值化分割图像. 为了有效地评估各个显著性算法凸显缺陷区域的能力, 本文将阈值从0调至255进行实验. 这些实验都是在搭载Intel Core 3.4 GHz处理器和8 GB RAM的机器上进行的.

4.1 视觉性注意预测实验

为了对显著图进行视觉性预测评估, 本文使用文献[2,10–13]中推荐的ROC曲线作为基准度量, 这个曲线是一个二维图. 其X轴为假阳类率False Positive Rate, FPR), 指分类器识别为正但实际为负的概率. Y轴为真阳类率(True Positive Rate, TPR), 指分类器识别为正且实际为正的概率. 计算公式如下:

T P R = \frac{T P}{T P + F N}

(7)

F P R = \frac{F P}{F P + T N}

(8)

其中TP, FN, FP和TN分别代表预测为正的正样本数, 预测为负的负样本数, 预测为负的正样本数和预测为正的负样本数.

但是ROC曲线并不能清晰准确地反映显著图的分类效果, 在此, 本文使用AUC值来定量地反映分类器的敏感性. AUC值是ROC曲线下的面积, 其值在0~1的范围内, 值越接近1说明分类效果越好^[12].

本文对分辨率为250×250, 518×518 和800×800的100张图像进行测试, 分别将本文算法和7种算法进行对比, 如图2.

图 2 ROC性能曲线

图2显示的ROC图是二值分割图与真值图(The Ground Truth)进行比较的结果, 其中二值分割图是对算法生成的显著图在[0, 255]区间上取一系列阈值得到的. 实验结果表明相比于其他算法而言, 本文算法在检测和定位玻璃缺陷方面有较好的性能. 表1显示的是在各个分辨率图像中的AUC值, 在不同的分辨率中, 本文的算法都有最高的AUC值, 且不随分辨率的改变而发生性能的改变, 保持着良好的稳定性. 而SR算法的AUC值随着分辨率的增加而大幅度降低. 因此本文算法适合实际工业生产中的大玻璃.

4.2 显著性区域检测

召回率(Recall)和精确率(Precision)能够准确地表示显著图的结果, 精确率指正样本占预测为正的样本比率, 召回率指样本中正例的预测比率, 公式如下:

P r e c i s i o n = \frac{T P}{T P + F P}

(9)

R e c a l l = \frac{T P}{T P + F N}

(10)

F-measure (Fm)是一个结合召回率和精准率的综合指标, 用于进一步评估显著图的分割情况, 其参数β用于调整召回率和精准率的比例. 本文选用β²=3来提高精准率的比例, 公式如下:

F m = \frac{(1 + β^{2}) P r e c i s i o n \times R e c a l l}{β^{2} \times P r e c i s i o n + R e c a l l}

(11)

表 1 不同图像分辨率下的AUC值

本文将改进的算法和7个显著性模型进行比较. 图3显示的PR曲线FT, LC和HC算法的精准率值随着召回率值的增加而急剧减少. RC算法在检测缺陷区域方面拥有较好的稳定性. 表2记录了各个算法的精准率值, 召回率值和F-measure值. 从表中可以看到, GB, IT和LC算法具有较高的召回率值, 但是其精确率值低, F-meaure值综合起来比较低. RC算法结合了区域对比和空间权值的特性, 其F-measure值具有较高的稳定性. 本文算法拥有最高的精准率且相对较低的召回率值, 因此, 其F-measure值最高.

图 3 PR曲线

表 2 召回率, 精准率和F-measure值

为了更直观地对比各个算法生成的显著图, 本文选用实验数据中的4组样本进行展示(见图4), SR算法拥有最弱的识别玻璃缺陷能力. IT和GB算法能够对玻璃缺陷区域进行检测但缺陷区域的边界模糊, 其他几个算法能够检测出缺陷区域, 但在有些图像中, 不能抑制玻璃的背景纹理和噪声. 本文提出的算法能够处理多种图像质量下的复杂缺陷, 最终在提取良好缺陷信息的基础上抑制了周期性的背景纹理, 生成的缺陷显著图为后期分割提供了良好的基础.

图 4 不同算法的显著图对比图

4.3 运算速度

为了比较各个算法的执行效率, 本文在不同分辨率下对各个算法进行比较. 其中RC, SR, FT, HC和LC算法是纯C++代码. GB和IT是由Matlab v8.4.0.150421 (R2014b)编写. 为了直观地对各个算法做比较, 本文的算法分别由Matlab和C++编写. 从表3可以看出HC算法难以应对大分辨率的玻璃图像, 由于RC算法需要花时间对图像进行分块并求区域权值, 因此其执行效率低下. GB算法在各种分辨率下的处理速度相对稳定. IT, SR, FT, LC算法执行效率高. 由于本文算法基于图像对比和图像签名, 其执行效率相对来说略微慢于SR, FT等单一的算法, 但生成的显著图能够较好地检测玻璃缺陷并抑制玻璃的背景纹理, 总体来说满足实时检测的需求.

5 结论

在玻璃生成过程中, 即使是最小的缺陷也会导致生产故障和崩溃, 而人工检测并不能保证24小时都处于工作状态, 因此智能缺陷检测便成为工业生产环节必不可少的一部分. 本文引入了图像对比和图像签名相结合的算法对玻璃缺陷进行检测, 在有效分离缺陷的基础上抑制了玻璃的自然纹理. 所有的实验数据是在玻璃厂采集并手工标记生成真值图. 最后通过不同指标对算法性能进行评估和比较, 综合各个实验, 本文提出的算法具有优越性, 能够适应实际的工业生产.

表 3 不同图像分辨率下的算法运算速度

参考文献

[1]	Achanta R, Estrada F, Wils P, et al. Salient region detection and segmentation. Proceedings of the 6th International Conference on Computer Vision Systems. Santorini, Greece. 2008. 66–75.
[2]	Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259. DOI:10.1109/34.730558
[3]	Harel J, Koch C, Perona P. Graph-based visual saliency. Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems. Vancouver, BC, Canada. 2006. 545–552.
[4]	Hou XD, Zhang LQ. Saliency detection: A spectral residual approach. IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis, MN, USA. 2007. 1–8.
[5]	Guo CL, Ma Q, Zhang LM. Spatio-temporal saliency detection using phase spectrum of quaternion Fourier transform. IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA. 2008. 1–8.
[6]	Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection. IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA. 2009. 1597–1604.
[7]	Buzatu OL, Savin A. Saliency based on human visual sensitivity and phase spectrum of the quaternion Fourier transform. 2013 International Symposium on Signals, Circuits and Systems. Iasi, Romania. 2013. 1–4.
[8]	Guo CL, Zhang LM. A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression. IEEE Transactions on Image Processing, 2010, 19(1): 185-198. DOI:10.1109/TIP.2009.2030969
[9]	Zhai Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues. Proceedings of the 14th ACM International Conference on Multimedia. Santa Barbara, CA, USA. 2006. 815–824.
[10]	Cheng MM, Mitra NJ, Huang XL, et al. Global contrast based salient region detection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 569-582. DOI:10.1109/TPAMI.2014.2345401
[11]	Hou XD, Harel J, Koch C. Image signature: Highlighting sparse salient regions. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(1): 194-201. DOI:10.1109/TPAMI.2011.146
[12]	Vikram TN, Tscherepanow M, Wrede B. A saliency map based on sampling an image into random rectangular regions of interest. Pattern Recognition, 2012, 45(9): 3114-3124. DOI:10.1016/j.patcog.2012.02.009
[13]	Davis J, Goadrich M. The relationship between precision-recall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning. Pittsburgh, PA, USA. 2006. 233–240.