交通标志的识别(TSR)是人工智能领域研究的热点问题之一. 道路交通标示分为禁止、警告、指示和限制等类型, 交通标志中的限速标志旨在警告驾驶员应按规定速度行驶, 防止事故发生, 检测和识别限速交通标志作为交通标示识别技术的重要部分, 对它的研究有着非常重要的意义.
交通标志识别技术主要包括检测和识别两部分, 检测技术作为标志识别工作的前提非常重要, 为后期的成功识别率奠定了基础. 交通标志具有极其特殊的颜色和形状特征, 因此研究方法多是从颜色特征和形状特征上进行相关研究. 日本学者Akatsuka和Imai[1]等是交通标志检测识别的先驱, 在RGB颜色空间上建立了查询表, 用该方法来分割红绿蓝显著颜色. 除了RGB颜色空间, Vitabile[2]等人把HSV划分为非彩色空间, 不稳定彩色空间和彩色空间进行处理. 但是从RGB转换到HSV或者HSI颜色空间所消耗的时间多, 必然会影响实时性. 基于形状的检测方法主要有Hough[3]变换, 距离变换[4]、模板匹配[5]、快速径向对称检测[6]、HOG特征+SVM分类[7]等. 常发亮[8]等人提出基于HOG+LBP特征检测方法, 通过SVM分类器实现交通标志的检测. 该算法速度较慢, 因此需要交通标志鲜明的颜色信息来减少待测区域以此来提高运行速度.
本文针对单一的颜色分割和形状检测方法, 将二者进行结合提出了一种新的交通标志检测方法(如图1所示), 主要从3个方面展开: 首先, 对图像进行预处理, 将原始图像质量提高; 然后采用聚类方法对图像进行颜色分割, 提出基于K-means聚类算法的交通标志图像分割, 该方法改进了传统RGB颜色空间的分割方法不足之处; 最后, 采用形状检测定位提去出圆形标志, 提出基于Hough变换形状定位的检测方法, 减少了传统Hough变换检测消耗时间.
1 图像预处理及图像分割 1.1 图像预处理
图像先经过直方图均衡化[9]进行非线性拉伸处理, 使得原图中的灰度值分布变成在整个灰度值范围内相对均匀的分布进而使得图像的对比度得到增强, 去除或者削弱干扰信息, 更适合下一步处理.
设
$Y = {P_0} + ({P_{L - 1}} - {P_0})C(P)$ | (1) |
式中,
然后进行噪声滤波处理, 采用十字型模板进行中值滤波[10], 利用邻域内图像像素点的灰度中值代替像素点的自身灰度值, 使得邻域内的灰度像素值都更平滑, 以此来达到消除图像噪声的目的. 二维中值滤波的表达式(2)
${y_{ij}} = Mid\{ P(x,y)\} $ | (2) |
K-means算法是一种无监督的实时聚类算法[11], 采用距离相似性的衡量标准对样本对象进行划分, 将形式相似的样本划分到同一个类别中. K-means算法的基本过程[12]为:
(1) 初始化常数, 随机选取样本
(2) 重复计算以下过程, 直到聚类中心不再改变:
1) 计算每个样本到各个聚类中心的距离
2) 计算划分到每个类别中的所有样本特征均值, 并将该均值作为每个类的新聚类中心
(3) 最终输出聚类中心不变的每个样本所属的类别.
在K-means算法中, 需要随机初始化K分聚类中心, 而K-means算法对初始聚类中的选取较为敏感, 如若选择不当, 则得到的聚类结果会很差.
因此, 本文对交通标志检测采用K-means聚类算法过程如下:
(1) 将样本进行L次随机采样, 对各采样结果进行以K′个质心的聚类运算, 这样可以得到L组聚类结果, 一共得到L×K′个簇.
(2) 在L×K′个簇中找到密度最大的簇M, 将其放入集合S中, 再计算其他质心与S集合中所有对象距离之和最大的质心, 也将其放入到S中.
(3) 直到找到K个密度最大的质心D, 也就找到了整个样本中全局较优的质心, 也就是较优的样本点.
(4) 初始聚类后, 得到K个质量较优的初始聚类中心, 这就避免了随机选取聚类中心的敏感性. 然后再用这K个初始聚类中心继续对整幅图像剩下的全部像素点进行聚类. 利用较优样本点进行后续聚类提高聚类结果的稳定性.
2 交通标志图像定位本文采用Hough算法[13]对限速禁止图像进行定位检测, 该算法可以定位检测出圆形、直线和其它参数化形状就, 算法可靠性高, 尤其是对含有噪声或者残缺信息的图像检测具有很好的稳定性. 限速交通标志图像在我国和GTSDB数据库中的形状都是圆形, 因此采用Hough圆形检测方法. 由于传统的Hough变换检测方法的运算速度较慢, 所以为了优化运算速度, 提出了改进的方法.
2.1 Hough变换原理Hough变换检测圆的基本原理[14]是利用图像的边缘点映射到参数空间中, 然后将在参数空间中得到的所有坐标点元素对应累加值进行累加统计, 根据累加值判断圆的大小和圆心所在的位置. 圆的x-y坐标方程为式(3) :
${(x - {x_o})^2} + {(y - {y_o})^2} = {R^2}$ | (3) |
其中,
因此要确定
对于图像中的一个圆, 假设圆心坐标位于
$\left\{\begin{array}{l} {x_o} = {x_i} - {R_o}*\cos \theta \\ {y_o} = {y_i} - {R_o}*\sin \theta \end{array}\right. $ | (4) |
在这个极坐标方程中,
(1) 对区域内进行Hough变换, 并对圆心坐标和累积值用数组记录下来;
(2) 得到的累计数组中, 最大值所对应的坐标就是本区域内圆形标志的圆心;
(3) 将圆心坐标带入圆的方程中, 当落在圆周及其周围的点数大于圆周长的70%时, 就把R认为是所要寻找的圆的半径, 该区域内存在的圆形交通标志.
2.2 改进的Hough变换检测标志图像Hough变换检测圆形标志精度高, 但是运算速度较慢, 本文在运算速度方面进行了优化处理. 由于Hough算法基于二值图像处理, 为了提高运算速度, 在检测之前对图像进行优化处理. 本文利用图谱理论对前期预处理的灰度图像进行二值化处理, 过程是利用直方图灰度等级代替像素等级, 减少的像素等级量, 在计算方面近似计算函数参数, 得到最优的二值图像. 经过上述的图像预处理, 使得二值化图像目标和背景差别明显, 噪声低, 信息量小, 图像信息尽量简单. 图像越简单, 参与Hough变换的数据就越少, Hough变换的效率就越高. 在使用Hough变换方法之前先处理图像信息, 使得处理时间上有所下降, 实时性效果好.
3 实验结果与分析本文所有仿真实验的运行环境为 64 位 Matlab R2014b, 主机处理器为AMD10, 10 COMPUTE CORES 4CPU+GPU 2.4 GHZ, 内存为4 GB. 待处理的数据对象采用德国交通标志检测大赛的数据库(German Traffic Sign Detection Benchmark: GTSDB), 其中包含了900幅复杂环境下的交通标志图像, 标志在图像中存在着背景相似、光照变化、模糊、褪色、过曝光等情况, 是验证交通标志检测算法的理想选择. 利用本文算法对测试集进行验证得到了有效的结果. 经过一系列的实验测试K-means聚类运行参数K=5, 迭代次数上限30即收敛, 可以很好的分割出交通标志和背景. 以下4幅具有代表性的背景复杂情况下成功提取出交通标志目标的实验结果, 提取结果显示在原图左上角, 提取位置用绿色矩形框标注.
图3背景中存在汽车尾灯颜色和提取标志的颜色相似情况. 图4背景曝光严重, 运动中拍摄的图片, 清晰度不高, 背景模糊. 图5目标存在弯曲变形, 圆形提取增加了难度. 图6目标存在污染, 在分割图像时增加了难度. 为了与本文方法的性能对比, 选取经典的基于RGB的图像分割方法、未改进的Hough变换检测方法与本文方法进行检测比较.
从上图7的提取结果可以看出, 背景中若有与交通标志相似的物体, 提取结果发生错误. 无法准确提取出交通标志, 进而无法识别. 未改进的Hough变换检测方法与本文算法的提取结果相同, 在运行时间上有差别, 详细结果见表1. 从处理一幅图的平均时间上来看, 利用传统分割方法的平均时间为0.1988 s, 未改进Hough算法的平均时间为0.2532 s, 而利用本文方法的平均时间为0.2344 s. 本文算法的提取正确率要比传统颜色提取方法的正确率提高7.44%, 本文算法平均时间要比未改进的Hough变换检测算法提高了近0.05 s. 因此本文的方法比传统的图像分割方法提取正确率高, 时间上相较于传统的检测圆形标志方法有所下降, 实时性有所提高. 综上所述本文的方法优于常用的图像分割方法, 时间上优于传统的检测方法.
4 结论本文给出了针对红色圆形交通限速或者禁止标志的分割和定位方法. 分割方法采用K-means聚类算法进行初步图像颜色分割, 其分割方法同样适用于蓝色、黄色等其他颜色的标志分割; 标志图像定位采用Hough变换检测方法针对圆形交通标志检测定位, 该方法同样可以适用于矩形和三角形标志的定位. 本文方法能针对强烈光照、图像模糊、背景和目标颜色相近等复杂背景下的交通标志检测, 但是提取方法未考虑多幅标志存在于同一图像、浓雾、雪天等情况. 考虑上述因素是提高交通标志检测实时性和有效性的未来研究方向.
[1] |
Akatsuka H, Imai S. Road signposts recognition system. SAE Vehicle Highway Infrastructure: Safety Compatibility, 1987.
|
[2] |
Vitabile S, Pollaccia G, Pilato G, et al. Road signs recognition using a dynamic pixel aggregation technique in the HSV color space. Proceedings 11th International Conference on Image Analysis and Processing. Palermo, Italy. 2001. 572–577.
|
[3] |
Morse BS. Segmentation edge based Hough transform. Brigham Young University [Technical report], Provo, UT, USA. 2000.
|
[4] |
Gavrila DM, Philomin V. Real-time object detection for " smart” vehicles. Proceedings of the Seventh IEEE International Conference on Computer Vision. Kerkyra, Greece. 1999. 87–93.
|
[5] |
Barnes N, Loy G, Shaw D. The regular polygon detector. Pattern Recognition, 2010, 43(3): 592-602. DOI:10.1016/j.patcog.2009.09.008 |
[6] |
段汕, 于莹莹, 陈龙, 等. 基于切线斜率变化统计的红色圆形交通标志牌检测. 中南民族大学学报(自然科学版), 2010, 29(2): 75-79. |
[7] |
Barnes N, Loy G. Real-time regular polygonal sign detection. In: Corke P, Sukkariah S, eds. Field and Service Robotics. Berlin Heidelberg: Springer, 2006. 55–66.
|
[8] |
刘成云, 常发亮, 陈振学. 基于感兴趣区域和HOG-MBLBP特征的交通标识检测. 电子与信息学报, 2016, 38(5): 1092-1098. |
[9] |
张兴国, 刘晓磊, 李靖, 等. BP神经网络下的限速交通标志实时检测识别. 西安电子科技大学学报(自然科学版), 2018, 45(5): 136-142. DOI:10.3969/j.issn.1001-2400.2018.05.022 |
[10] |
李小楠. 复杂自然环境下的交通标志检测算法研究[硕士学位论文]. 石家庄: 河北师范大学, 2017.
|
[11] |
巨志勇, 李开亮, 毛颖颖. 基于K-means聚类与二次分水岭的果蔬图像分割方法. 软件导刊, 2018, 17(6): 217-219, 223. |
[12] |
戴雪瑞, 袁雪, 乐国庆, 等. 复杂场景下基于颜色对和MSER的交通标志检测方法. 北京交通大学学报, 2018, 42(5): 107-115. DOI:10.11860/j.issn.1673-0291.2018.05.015 |
[13] |
王权威. 自然环境下交通标志检测与识别技术研究[学位论文]. 天津: 天津大学, 2016.
|
[14] |
林川, 潘胜辉, 谭光兴, 等. 基于聚类与链码技术的交通标志检测. 计算机测量与控制, 2011, 19(6): 1341-1344. |