车辆识别系统作为智能交通系统(ITS)中的关键子系统. 车标识别提供车辆制造商最重要的信息, 正确识别车标将有助于车辆身份的确定. 因此对于车标快速准确的识别在如违章停车、假套牌检测、违章车辆逃逸等方面有着广泛的应用. 然而, 相比较于目前成熟的车牌识别技术, 专门对于车标识别研究的人员相对较少.

国内外已有不少学者对车标的定位与识别进行研究, 取得了不错的成果^[1]. 车标检测识别一般包括两个步骤: 定位和识别. 由于车标的形状各异, 导致了车标定位是比较困难的, 因此一般比较流行的方法采用先验知识作为互补信息^[2,3]. 他们首先找到一些明显的对象, 如车牌和车头灯, 根据相对位置或对称性来绘制包含车标的粗糙区域, 然后, 利用大多数标志具有丰富的垂直边缘或者与车身纯背景的可区分的颜色特征, 在该区域从粗略到精细扫描处理, 进行精准定位.

对于车标识别, 现有方法主要是基于模板匹配, 特征点以及边缘检测等. 模板匹配一种比较传统的图像分类方法, 文献[4,5]提出一种使用模板匹配和边缘方向直方图进行车标分类的方法. 然而这种方法通常需要大量的模板样本的收集, 比较耗时, 而且容易受到图像质量的影响, 导致识别结果降低, 而且在匹配的过程比较耗时, 不满足实时性. 为此文献[6]使用主成份分析法(PCA)与不变矩对车标进行识别, 这些方法相对简单, 速度较快, 但准确率较为一般. 基于特征点识别的方法^[7–9], 比如SIFT, 文献[9]提出一种基于SIFT的增强匹配算法, 提高的识别精准度, 但是基于特征点的算法对于原始图像要有比较高的分辨率, 对于低分辨率的图像识别效果比较差. 许多车标识别方法基于边缘的特征来对图像进行分类, 如形状描述符. 然而难以从低分辨率图像准确地提取边缘. 随着深度学习的发展, 为提取低分辨图像特征提供了一种新的方法^[10–12]. 文献[13]提出了一种基于卷积神经网络模型的方法, 达到了精准识别的要求, 但是训练时间过长, 不满足实时性的要求.

总之, 单一方法几乎不能很好的处理低分辨率图像, 然而在实际应用中, 车辆图像有悬挂在街道交叉口处的相机进行捕获, 具有1024×768的分辨率, 因此对于前视图中车标具有相对较小的尺寸和分辨率. 为了解决这一问题, 本文提出一种基于D-S证据理论的多特征融合方法, 结合不变矩所具有的旋转、缩放和平移的不变性以及HOG特征, 利用D-S证据理论组合不完全、不清晰信息的优势, 根据决策规则得到最终的识别, 有效提高对于低质图像的识别准确度, 相比于单一特征识别更具有鲁棒性.

1 相关工作 1.1 图像预处理

帧为了提高识别率, 将采集到得图像进行预处理. 首先对于图像进行几何归一化为70×70, 为了提高图像对光照的鲁棒性, 对图像进行光照预处理, 步骤如下:

Step 1. 对图像进行γ校正, 来抑制高亮和增强高暗像素点:

${{I}}\left( {x,y} \right) = I{\left( {x,y} \right)^\gamma }$

(1)

Step 2. 对图像进行差分高斯滤波(DoG), 用来消除图像阴影以及一些高频和低频噪音的干扰. 参数根据Tan^[9]等实验参数进行设置A₁, A₂为1.0, ${\sigma _1}$ 为2, ${\sigma _{\rm{2}}}$ 为1.5.

$\left\{ \begin{array}{l} {{I}}\left( {x,y} \right) = I\left( {x,y} \right)G\left( {x,y} \right)\\ {{G}}\left( {x,y} \right) = {A_1}{e^{ - \frac{{{{\left( {x,y} \right)}^2}}}{{2\sigma _1^2}}}} - {A_2}{e^{ - \frac{{{{\left( {x,y} \right)}^2}}}{{2\sigma _2^2}}}} \end{array}\right. $

(2)

Step 3. 对图像进行对比度均衡化, 使得图像的局部特征更加突显.

1.2 HOG特征提取

HOG特征是由SIFT特征演变而来^[14], 主要是通过计算局部区域的梯度方向直方图作为特征.

Step 1. 首先将已预处理后的图像分割为若干个7×7的像素单元block.

Step 2. 将block均匀分成4个小块(此处称为cell)计算cell内每个像素点的梯度方向和幅值. 并将梯度方向划分为m个方向, 统计单元内每个像素的梯度方向落在这m个方向块中的个数即得到该单元的方向梯度直方图. 如图1所示, 式(3), 式(4)中的 $\theta \left( {x,y} \right)$ 为梯度方向, ${{m}}\left( {x,y} \right)$ 为幅值.

Step 3. 将block内的cell梯度直方图连接成为一个直方图, 表示在该区域的HOG特征.

Step 4. 对于整幅图以7个像素的步长进行滑动检测, 串联所有区域的梯度直方图, 作为整幅图的HOG特征.

$\theta \left( {x,y} \right) = \arctan \left( {\frac{{I\left( {x,y + 1} \right) - I(x,y - 1))}}{{(I(x + 1,y) - I(x - 1,y)}}} \right) $

(3)

$ {{m}}\left( {x,y} \right) \!= \!\sqrt {{{\left( {I(x\! +\! 1,y)\! -\! I\left( {x \!-\! 1,y} \right)} \right)}^2} \!+\! {{\left( {I\left( {x,y\! +\! 1} \right)\! -\! I\left( {x,y \!- \!1} \right)} \right)}^2}} $

(4)

1.3 不变矩

不变矩特征^[15]常被用作图像特征的描述参数. 通过提取具有平移、旋转和比例不变性的图像特征, 基于区域的几个矩作为形状特征, 进行图像识别.

一副数字图像 ${{f}}\left( {x,y} \right)$ 的二维 $\left( {{{p}} + {{q}}} \right)$ 阶矩定义为, ${{{m}}_{{{pq}}}} = \displaystyle\sum\limits_{{x}} {\displaystyle\sum\limits_y {{x^p}{y^q}f\left( {x,y} \right)} } $ , 其中, ${{p}},q = 0,1,2,\cdots$ .

相应的中心距定义为:

${\mu _{{{pq}}}} = {\sum\limits_x {\sum\limits_y {\left( {x - \bar x} \right)} } ^p}{\left( {y - \bar y} \right)^q}f(x,y)$

(5)

其中, $\bar x = {m_{_{10}}}/{m_{_{00}}},\bar y = {m_{_{01}}}/{m_{_{00}}}$

归一化 $\left( {{{p}} + {{q}}} \right)$ 阶中心距定义为:

${\eta _{pq}} = {{{\mu _{pq}}} / {\mu _{oo}^r}}$

(6)

其中, ${{r = (p + q + 2)/2,\;p + q = 2,3,}}\cdots$ .

基于区域的不变矩理论构造出7个平移、旋转、缩放和尺度不变矩(简称Hu矩)^[15], 以下为7个不变矩的计算公式:

$\left\{ \begin{array}{l} {\phi _1} = {\eta _{20}}{\rm{ - }}{\eta _{02}}\\ {\phi _2} = {\left( {{\eta _{20}}{\rm{ - }}{\eta _{02}}} \right)^2} + 4\eta _{11}^2\\ {\phi _3} = {\left( {{\eta _{30}}{\rm{ - 3}}{\eta _{12}}} \right)^2} + {\left( {3{\eta _{11}} + {\eta _{03}}} \right)^2}\\ {\phi _4} = {\left( {{\eta _{30}} + {\eta _{12}}} \right)^2} + {\left( {{\eta _{21}} + {\eta _{03}}} \right)^2}\\ {\phi _5} = \left( {{\eta _{30}}{\rm{ - 3}}{\eta _{12}}} \right)\left( {{\eta _{30}} + 3{\eta _{12}}} \right)\left[ {{{\left( {{\eta _{30}} + {\eta _{12}}} \right)}^2}{\rm{ - 3}}{{\left( {{\eta _{21}} + {\eta _{03}}} \right)}^2}} \right]\\ \;\;\;\;\;\;\;\; + \left( {3{\eta _{21}} + {\eta _{03}}} \right)\left( {{\eta _{21}} + {\eta _{03}}} \right)\left[ {3{{\left( {{\eta _{30}} + {\eta _{12}}} \right)}^2}{\rm{ - }}{{\left( {{\eta _{21}}{\rm{ - }}{\eta _{03}}} \right)}^2}} \right]\\ {\phi _6} = \left( {{\eta _{20}}{\rm{ - }}{\eta _{02}}} \right)\left[ {{{\left( {{\eta _{30}} + {\eta _{12}}} \right)}^2}{\rm{ - }}{{\left( {{\eta _{21}} + {\eta _{03}}} \right)}^2}} \right]\\ \;\;\;\;\;\;\;\;\;\; + 4{\eta _{11}}\left( {{\eta _{30}} + {\eta _{12}}} \right)\left( {{\eta _{03}} + {\eta _{21}}} \right)\\ {\phi _7} = \left( {3{\eta _{12}}{\rm{ - }}{\eta _{30}}} \right)\left( {{\eta _{30}} + {\eta _{12}}} \right)\left[ {{{\left( {{\eta _{30}} + {\eta _{12}}} \right)}^2}{\rm{ - }}3{{\left( {{\eta _{21}} + {\eta _{03}}} \right)}^2}} \right]\\ \;\;\;\;\;\;\;\; + \left( {3{\eta _{21}}{\rm{ - }}{\eta _{03}}} \right)\left( {{\eta _{21}} + {\eta _{03}}} \right)\left[ {{{\left( {{\eta _{03}} + {\eta _{12}}} \right)}^2}{\rm{ - }}3{{\left( {{\eta _{12}} + {\eta _{03}}} \right)}^2}} \right] \end{array}\right. $

(7)

1.4 D-S证据理论

D-S证据理论^[16]由Dempster提出并Shafer完善的, 原理如下:

设 $\theta $ 为识别框架, 若集函数满足不可能事件概率为0, 即 ${{m}}\left( \phi \right) = 0$ , 以及 $\theta $ 中的所有元素的基本概率之和为1, 即 $\displaystyle\sum\limits_{A \subseteq \theta } {m\left( A \right)} = 1$ , 则称m为框架 $\theta $ 上的概率分配函数, m(A)为对命题A的基本概率分配(BPA), 表示对于命题A的信任程度.

D-S合成规则为: 设 ${{{m}}_{1}},\;{{{m}}_{\rm{2}}},\;\cdots,\;{{{m}}_{{n}}}$ 是识别框架 $\theta $ 上不同证据的基本概率分布(BPA), 其正交和 $ {{m}} = {m_1} \oplus$ ${m_2} \oplus \cdots \oplus {m_n}$ , 运算为:

$ \left\{ \begin{array}{l} m(C) = 0\;\;\;\;\;\;C = \phi \\ m\left( {{C}} \right) = \frac{{\displaystyle\sum\limits_{{B_i} \cap {A_i} = {\rm{C}}} {\mathop \prod \limits_{j = 1}^n {m_j}({A_i})} }}{{\rm{N}}}\\ N = 1 - \displaystyle\sum\limits_{{B_i} \cap {A_i} = C} {\mathop \prod \limits_{j = 1}^n {m_j}({A_i})} \end{array} \right. $

(8)

其中, N表示证据间的冲突度. 式(8)为证据理论融合公式, 能够将若干个不同的来源的独立证据结合起来, 获得更加准确的数据.

2 特征融合

本文结合不变矩所具有的旋转、缩放和平移的不变性以及HOG特征, 利用D-S证据理论组合不完全、不清晰信息的优势, 根据决策规则得到最终的识别类型. 本文提出的车标识别模型如图2所示, 算法步骤如下:

2.1 基本概率分配的构建 2.1.1 不变矩的基本概率分配

由于欧式距离能够有效反映出不同图像之间的相似度, 距离越大, 则相似性就越小, 针对不变矩所获得的图像特征值, 构建基本概率分配的具体步骤如下:

假设 ${{n}_{1}},\;{{n}_{2}},\;\cdots,{{n}_{i}}$ 分别表示训练车标样本, 矢量 $\left( {{i} = 1,\;2,\;\cdots,\;7} \right)$ 描述车标特征. 测试车标图像表示为矢量, 分别计算训练样本和测试样本之间的欧氏距离, 分别表示为 ${d_{i,1}},{d_{i,2}},\cdots,{d_{i,{n_i}}}$ .

从 ${d_{i,1}},{d_{i,2}},\cdots,{d_{i,{n_i}}}$ 中选择测试样本到第i个训练样本之间的最小值, 即 ${d_i} = \min ({d_{i,1}},{d_{i,2}},\cdots,{d_{i,{n_i}}})$ , 因为 ${{d}}_i$ 得真实值为 $\left[ {0,\infty } \right]$ , 因此进行归一化:

$ {d_i} = \frac{{{d_j}}}{{\displaystyle\sum\limits_{j = 1}^{n_i} {{d_j}} }} $

(9)

其中, ${{{n}}_i}$ 表示为总的车标样本.

根据式(10)构造满足D-S证据理论的不变矩基本概率分配 ${{m}}\left( {{A_i}} \right)$

$ m({{{A}}_{{i}}}) = \left\{ {\begin{array}{*{20}{c}} {\frac{{p(i)}}{{\displaystyle\sum\limits_{{{i}} = 1}^{{n_{{i}}}} {p(i)} }} = \frac{{1/d_i^\alpha }}{{\displaystyle\sum\limits_{i = 1}^{n_i} {1/d_i^\alpha } }}},&{{d_i} \ne 0}\\ 1,&{{d_i} = 0} \end{array}} \right. $

(10)

2.1.2 HOG的基本概率分配

为了构造HOG的基本概率分配, 采用Chen等人^[11]提出将二分类逻辑回归扩展为多分类. 从训练数据X中获得K类 ${y_i} \in 1,2,\cdots,{{K}}$ , 对于每一类的概率 $p\left( {{y_i} = k|{X_i}} \right)$ 可以表示为:

$ {{p}}({y_i} = {{K}}|{x_i},W,b){\rm{ = }}\frac{{{e^{(W_K^{\rm{T}}{x_i} + {b_j})}}}}{{\displaystyle\sum\nolimits_{j = 1}^K {{e^{(W_j^{\rm{T}}{x_i} + {b_j})}}} }} $

(11)

其中, ${{w}}$ 是由权重组成的矩阵, b为多类逻辑回归模型的偏值.

由于车标形状各异, 保证多分类逻辑回归具有最佳的性能, 减少LR分类器训练时发生过拟合的情况, 因此本文在定义损失函数 ${{L}}\left( {{w}} \right)$ 时添加了参数 ${{w}}$ 的L2正则化项即:

$ \begin{split} {{L}}(w) =& \displaystyle\sum\limits_{i = 1}^N {\displaystyle\sum\limits_{k = 1}^k {1\left\{ {{y_i} = k} \right\}} } \left\{ { - \log \left( {\frac{{{e^{(w_k^{\rm{T}}{x_i} + {b_k})}}}}{{\displaystyle\sum\nolimits_{j = 1}^k {{e^{(w_k^{\rm{T}}{x_i} + {b_k})}}} }}} \right) } \right.\\ &\left. + {\dfrac{\lambda }{{2N}}\left( {\displaystyle\sum\limits_{{w}} {{w^2}} } \right)} \right\} \end{split} $

(12)

其中, ${{l}}\left( {{y_i} = k} \right)$ 是指示函数, 若 ${{{y}}_{{i}}} = k$ 为真, 则等于1, 否则等于0.

因此对于一个测试样本X*, HOG的基本概率分配函数可定义为:

$ {{m(}}{{{B}}_{{j}}}{{)}} = p\left( {y * = k|x * ,{{W,b}}} \right) = \frac{{{e^{\left( {W_k^{\rm{T}}x* + {b_k}} \right)}}}}{{\displaystyle\sum\nolimits_{{{i}} = 1}^K {{e^{\left( {W_k^{\rm{T}}x* + {b_k}} \right)}}} }} $

(13)

2.2 决策融合及判别规则

根据上述两个证据在同一个识别框架下的基本概率分布(BPA)分别为 ${{m}}\left( {{A_i}} \right)$ 和 ${{m}}\left( {{{{B}}_{{j}}}} \right)$ , 合成法则可以表示为 $m(C) =\displaystyle\sum\limits_{{A_{{i}}} \cap {B_j} = C} {m({A_i})} m({B_j})$ , 考虑到若存在集合 ${{{A}}_{{i}}},{B_j}$ , 使得 ${{{A}}_i} \cap {B_j} = \phi $ , 且 ${{m}}\left( {{A_i}} \right) > 0,m({B_j}) > 0$ , 此时使用D-S证据理论, 将会导出 ${{m}}\left( {{\phi _i}} \right) = 0$ , 与BPA函数的定义相悖, 因进行修正, 取冲突权值为修正系数K的对数. 即, 考虑到证据之间的冲突, 令k=1/K, 当k=0时证据完全冲突, 反之, k越大冲突越小, 对D-S合成法则进行如下改进:

$ {{m}}\left( C \right) = \frac{{K\displaystyle\sum\limits_{{A_i} \cap {B_j} = C} {m({A_i})} m({B_j})}}{{1 + 1{{ - k}}\lg (1/k)}}\ $

(14)

通过式(14)求得融合后的信任度 ${{m}}\left( C \right)$ 必须满足以下规则:

(1) ${{m}}\left( C \right)$ 应具有最大的基本概率分配值;

(2) 目标类别 ${{m}}\left( C \right)$ 与其他类基本概率分配值之差应大于某个门限;

(3) 目标类别 ${{m}}\left( C \right)$ 必须大于某一门限

(4) 若不满足上述3条, 则识别结果为“不确定”.

3 实验结果分析

本文的车标图片来自于交通卡口监控视频拍摄的车辆图片, 共有12种车标图片合计6000张, 其中训练集数据每一类400张车标图像, 测试集每一类车标为100张. 本实验在Intel i5, 2.5 GHz CPU, 4 GB内存的Windows平台下进行. 车标图像归一化为70×70像素, 如图3所示为经过车标定位获得, 分别为Buick、Chery、Citroen、Honda、Hyundai、lexus、Mazda、Peugeot、Toyata、Volkswagen、Chevrolet、Benz.

为了验证本文所提出方法, 提取车标的HU不变矩特征和HOG特征, 分别比较单一特征分类的识别结果和本文所提出的融合方法识别结果. 根据式(7)对每一个训练样本进行计算, 取平均值从而获得对应每一类车标特定的7个特征值. 根据欧式距离公式求得车标测试样本的分类结果,如表1所示.

对于所提取的HOG特征, 采用多分类逻辑回归作为作为分类器, 实验结果如表2所示.

根据上述实验结果可知单一特征识别率偏低, 主要由于车标样本的分辨率以及光照变化的影响比较大, 导致单一特征的识别信度值偏度, 缺乏可靠性和稳定性. 因此本文提出一种基于D-S证据理论, 融合不变矩特征和HOG特征, 融合后的信度值相比于单特征的信度值, 能够增加实际目标的信任度, 降低目标识别的不确定性. 对1200张测试样本进行混合分成5组, 实验结果如表3所示.

为了更好验证融合特征的优越性, 本文将与文献[17]提出的一种基于LBP与HOG联合特征的车标识别方法进行比较, 在同等条件下, 本文提出基于D-S证据理论, 进行特征融合, 相比于文献[17]所提算法在光照变化和噪声污染等情况下, 都保持着较高的车标识别率, 具有一定的鲁棒性, 但在算法识别的时间上, 本文提出的算法相对更短, 更加满足实时性的要求, 识别结果如表4所示.

4 实验结论

传统的单一特征识别的算法虽然取得不错的识别结果, 但是对车标图像的质量要求比较高, 不能很好识别出低分辨、低质的车标图像, 因此本文提出一种基于D-S证据理论, 进行特征融合的方法, 对于每一类车标提取的特征进行融合, 以信度值得大小作为最终的判别依据, 能够有效解决对于低分辨图像提取特征不足导致识别率较低的问题.