2020年中国汽车保有量突破2.8亿辆, 年复合增长率约12%. 汽车发动机为汽车提供动力, 是汽车的心脏, 影响汽车的动力性、经济性和环保性. 汽车发动机连杆连接着曲轴和活塞, 是汽车发动机中的主要传动零部件. 连杆质量直接影响着发动机的性能, 最终影响着整车的性能和安全性. 目前, 连杆质量检测主要涉及连杆几何参数检测、连杆弯曲检测、连杆扭曲检测3个方面.

借助机械式检验夹具, 在大小孔头上穿芯轴, 利用百分表或千分表分项测量几何参数、连杆弯曲、连杆扭曲的方式, 测量精度和效率受操作者工作经验的影响较大, 还会造成被测零件表面有一定的损伤. 采用传感器分项检测几何参数、连杆弯曲、连杆扭曲的方法, 提高了测量精度和测量效率, 测量结果易受定位精度、环境因素等的影响. 在多参数综合测量方面, 以机器视觉系统为基础, 基于机器视觉的刃形铣头断刀片识别^[1]、机器视觉微铣削刀具磨损检测^[2]、外螺纹检测的计算机视觉算法^[3]、基于Hough变换和支持向量机的螺栓松动视觉检测^[4]、基于机器视觉的圆度在线检测^[5], 根据不同的检测目标, 设计相应的算法可以达到亚微米级别的检测精度, 灵活性极高. 国外近3年将机器视觉用于汽车零部件加工过程监控的研究, 主要集中在加工刀具损坏、传送带传输、粗糙度在线监测等方面. 以机器视觉为基础的汽车发动机连杆检测系统, 为提高检测精度和检测效率、实现连杆质量多参数检测提供了一种可行的实现方案. 以机器视觉为基础的汽车发动机连杆质量分项检测研究还比较少,主要有基于机器视觉的发动机连杆几何尺寸检测^[6], 汽车发动机连杆表面缺陷机器视觉检测系统^[7]等. 目前还没有以机器视觉为基础的发动机连杆质量多参数检测系统方面的研究.

图像对比度低和图像中存在的阴影影响了基于机器视觉的发动机连杆质量多参数检测精度. 图像中的阴影是影响目标检测的重要因素^[8], 分析已有的静态阴影消除^[9]、基于统计特征的阴影检测^[10]、结合亮度比值梯度与颜色特征的阴影去除^[11]、多特征阴影去除^[12], 基于多特征综合分析的阴影去除比基于多特征分析的阴影去除准确性高. 图像增强是提高图像对比度的主要方法, 分析已有的全局色调映射和局部对比度处理相结合的图像增强^[13]、线性与非线性图像增强^[14]、基于图像融合的对比度增强^[15]、基于模糊同态滤波的彩色图像增强^[16], 同态滤波符合人类视觉对亮度感应的非线性特性, 在不损失亮区图像细节的同时增强暗区的图像细节, 避免了直接对图像进行傅立叶变换处理的失真.

目标检测是影响基于机器视觉的发动机连杆质量多参数识别精度的关键技术. 像素级边缘检测方法不能满足汽车发动机连杆目标检测对精确度的要求. 基于Sobel-Zernike^[17]、Sobel-OFMM^[18]、局部区域特征^[19]、非线性四阶插值^[20]的亚像素级目标定位, 从软件算法方面提高边缘检测的精确度. 以边缘检测为基础的几何特征检测是参数识别的直接依据. Hough变换应用于圆形防松垫片安装检测^[21]、刹车蹄块片安装孔定位检测法^[22]、指针式压力表盘自动识别中目标检测^[23]、轴承缺陷检测与定位^[24], 实现了几何特征的检测.

本文提出基于机器视觉的发动机连杆质量多参数检测. 通过构建发动机连杆质量多参数检测视觉系统, 研究发动机连杆图像处理、目标检测与识别等关键技术, 实现发动机连杆质量多参数检测, 为判断发动机连杆的质量是否合格, 是否需要弯曲、扭曲矫正提供依据.

1 构建连杆质量多参数检测视觉系统

为了检测汽车发动机连杆的大小孔直径及中心距几何参数、弯曲、扭曲检测, 构建由工作台、实验支架、工业相机、镜头、光源、光源控制器及计算机等构成的汽车发动机连杆质量多参数检测视觉系统, 通过图像预处理、边缘检测、特征检测与参数识别, 实现发动机连杆质量多参数视觉检测, 系统框图如图1所示.

汽车发动机连杆质量多参数视觉检测系统共有两个检测工位, 第1检测工位为水平检测工位, 实现汽车发动机连杆的大小孔直径、中心距、弯曲度, 第2检测工位为竖直检测工位, 实现汽车发动机连杆的扭曲度检测.

依据工业镜头焦距的求解原理, 选择相机镜头, 焦距满足式(1):

$ f = s \times d/v $

(1)

其中, $ f $ 为焦距, $ s $ 为传感器的大小, $ d $ 为工作距离, $ v $ 为视角的大小.

检测视觉系统得到目标几何尺寸的像素信息, 选用棋盘格校正标定板进行系统标定方法找到物理空间的尺寸信息和图像的像素信息的对应关系, 满足式(2):

$ L = D \times K $

(2)

其中, $ L $ 为目标几何参数的实际尺寸, $ D $ 为目标区域所占像素数, $ K $ 为每个像素所占零件尺寸.

2 发动机连杆图像预处理 2.1 基于多阈值的彩色图像阴影消除

连杆质量检测视觉系统采用单相机进行图像采集, 采集的图像属于单目图像, 如图2(a)所示. 由于发动机连杆及其大小孔, 是带有一定高度的立体结构, 发动机连杆单目图像常常带有阴影, 因此检测出来的目标大小孔也带有阴影, 这些阴影严重影响了大小孔几何尺寸检测的准确性.

阴影区域比非阴影区域, 具有更大的色调值、具有高饱和度、较低的明度. HSV彩色空间图像数据由3部分组成: 色调、饱和度和明度, 色调表示色彩信息, 用角度表示; 饱和度表示成所选颜色的纯度和该颜色最大的纯度之间的比率; 明度表示色彩的明亮程度. 将图像RGB分量变换为HSV分量, 利用色调值高于阈值T₁、饱和度高于阈值T₂、明度低于阈值T₃, 区分阴影区域和非阴影区域. 采用式(3)确定色调阈值T₁、饱和度阈值T₂、明度阈值T₃, 将发动机连杆单目图像中大小孔的阴影与目标区域分解开来, 消除图像阴影, 如图2(b)所示.

$\left\{\;\; {\begin{split} &{T_1} = mean(h) + 3 \times std(h)\\ & {T_2} = mean(s) + 3\times std(s) \\ & {T_3} = mean(v) + 3\times std(v) \end{split} } \right. $

(3)

阴影区域的像素灰度值一般比非阴影区域小. 在图像的NTSC彩色空间, 灰度信息和彩色数据是分离的. NTSC彩色空间图像数据由3部分组成: 亮度、色调和饱和度, 亮度分量描述灰度信息, 色调和饱和度描述彩色信息. 对图像RGB分量线性变换得到YIQ分量. 利用像素灰度值Y低于阈值T₄, 区分阴影区域和非阴影区域. 采用式(4)确定色调值H阈值T₄, 将发动机连杆单目图像中大小孔的阴影与目标区域分解开来, 消除图像阴影, 如图2(c)所示.

$ {T_4} = mean(Y) + 3\times std(Y) $

(4)

人类的视觉系统具有某种程度上的彩色不变特征. 在照明不均匀或者环境发生改变的情况, 机器视觉系统利用彩色不变特征仍然能对目标进行识别. 在C1C2C3彩色空间中, 阴影区的颜色特征不会跟随照明不均匀或者环境发生改变的成像条件产生变化. 在阴影区域中, C3分量具有很高的像素值. 将图像RGB分量变换得到C1C2C3分量, 利用C1C2C3彩色不变特征中的C3分量高于阈值T₅, 可以区分阴影区域和非阴影区域. 采用式(5)确定彩色不变特征中的C3阈值T₅, 将发动机连杆图像中大小孔的阴影与目标区域分解开来, 消除图像阴影, 如图2(d)所示.

$ {T_5} = mean({\text{C}}3) + 3\times std({\text{C}}3) $

(5)

分析图2, 采用相同的阈值确定方法, 基于单一颜色空间阈值分析的发动机连杆图像连阴影消除不准确. 其中, HSV彩色空间阴影检测存在漏检, 在有一定深度的立体空间结构部分, 漏检比较明显; NTSC彩色空间阴影检测效果较好, 能够实现有一定深度的立体空间结构部分阴影检测, 但是对图像中与阴影部分颜色相近的部分, 存在虚检; C1C2C3彩色空间阴影检测同时存在漏检和虚检, 在有一定深度的立体空间结构部分, 漏检比较明显, 在图像中亮度比较强部分, 存在虚检.

为获得更加准确的阴影区域研究基于多阈值分析区分阴影区域和非阴影区域, 消除彩色图像的阴影. 同时满足式(6)的彩色图像区域为发动机连杆图像阴影区域.

$ \left\{ \begin{array}{l} \begin{array}{*{20}{c}} {h \gt 0.8{T_1}}&{\rm{and}}&{s \gt 0.8{T_2}}&{\rm{and}}&{v \lt 1.2{T_3}} \end{array} \\ \begin{array}{*{20}{c}} {Y \lt 1.2{T_4}}&{\rm{and}}&{C3 \gt 0.8{T_5}} \end{array} \\ \end{array} \right. $

(6)

基于多阈值分析的阴影检测与消除的基本过程为:

Step 1. 将彩色图像RGB分量变换为HSV彩色空间分量;

Step 2. 确定色调阈值T₁、饱和度阈值T₂、明度阈值T₃;

Step 3. 将图像RGB分量变换得到YIQ分量;

Step 4. 确定像素灰度值阈值T₄;

Step 5. 将图像RGB分量变换得到C1C2C3分量;

Step 6. 确定彩色不变特征C3分量阈值T₅;

Step 7. 通过式(6)计算阴影区域, 将其设置为白色;

Step 8. 原始图像与阴影区域相与, 获得阴影去除的结果.

对图2中汽车发动机连杆原始彩色图像, 基于多阈值分析的彩色图像阴影消除, 如图3所示. 分析图3, 本文算法能有效消除有一定深度的立体空间结构部分阴影、图像中亮度比较强部分阴影, 保留图像中与阴影部分颜色相近的部分, 消除阴影的准确率较高, 结合形态学滤波可实现阴影消除.

2.2 基于同态滤波的图像对比度增强

将发动机连杆图像 $ x $ 表示为:

$ x = i \times r $

(7)

其中, $ i $ 为受空间位置变化的影响较小的部分, $ r $ 受到物体自身特性影响较大, 随空间位置变化较大的部分.

取对数将乘法运算转为加法运算, 分离受空间位置变化的影响较小的部分 $ i $ , 受到物体自身特性影响较大的部分 $ r $ , 有:

$ \ln x = \ln i + \ln r $

(8)

两边做FFT运算, 实现图像从空间域到频率域的转换, 有:

$ X(u,v) = I(u,v) + R(u,v) $

(9)

同态滤波函数的选择与设计影响傅里叶变换的高低频成分, 可以实现图像频域增强. 同态滤波器中, $ {r_h} $ 为高频增益, $ {r_l} $ 为低频增益, 当 $ {r_h} \lt 1 $ , $ {r_l} \gt 1 $ , 在频率域中降低高频分量, 增强低频分量, 增强目标图像与背景的对比度.

在频率域, 用 $ d(u,v) $ 表示频率( $ u $ , $ v $ )到滤波器中心( $ M/2 $ , $ N/2 $ )的距离, 满足式(10):

$ d(u,v) = {[{(u - M/2)^2} + {(v - N/2)^2}]^{\frac{1}{2}}} $

(10)

用于增强的同态滤波函数曲线形状与频域内的高通滤波器的基本形式近似. 频率内高斯型高通滤波器函数, 为式(11):

$ H(u,v) = 1 - \exp ( - c{(d(u,v)/2{d_0})^{2n}}) $

(11)

依据高斯型高通滤波器, 得到与其对应的高斯型同态滤波器, 为式(12):

$ \begin{split} H(u,v) =& ({r_h} - {r_l})[1 - \exp ( - c{(d(u,v)/{d_0})^{2n}})] \\ & \begin{array}{*{20}{c}} { \times ({r_h} - {r_l}) + {r_l}} \end{array} \end{split} $

(12)

其中, 常用c被引入用来控制滤波器函数斜面的锐化, 它在 $ {r_h} $ 与 $ {r_l} $ 之间过渡. $ {d_0} $ 为截止频率, 一般通过实践比较获得.

同态滤波输出为式(13):

$ \begin{array}{l} H(u,v)X(u,v) = H(u,v)I(u,v) + H(u,v)R(u,v) \end{array} $

(13)

对式(13)进行IFFT运算, 实现频率域到空间域的变换, 得式(14):

$ x' = {F^{ - 1}}(H(u,v)X(u,v)) = i' + r' $

(14)

对式(14)取反对数运算, 合并得到增强图像, 有式(15):

$ g' = \exp (x') = \exp (i')\exp (r') $

(15)

对图3中消除阴影的汽车发动机连杆彩色图像, 进行基于同态滤波的图像增强, 分析其直方图如图4所示. 分析图4, 同态滤波器实现了图像增强, 提高了目标图像与背景的对比度, 解决了汽车发动机连杆目标图像与背景对比度较低的问题.

3 连杆质量多参数检测 3.1 基于亚像素级的连杆图像边缘检测

发动机连杆质量检测主要包括几何参数、连杆弯曲、连杆扭曲检测, 涉及连杆外边缘检测、大小孔边缘检测、直线检测等. 发动机连杆图像目标检测与定位精度是影响连杆质量检测的一个关键技术. 通过提高摄像机分辨率, 提高发动机连杆图像目标检测与定位精度, 会提高图像的传输与存储要求, 成本也会提高几倍, 甚至十几倍. 发动机连杆图像目标检测中, 边缘反映了连杆的几何形状特性. 以原始图像信息为基础的亚像素级分析精度高于像素级分析精度, 可以提高发动机连杆图像目标检测与定位精度.

以原始图像为基础, 采用Sobel边缘检测算子检测边缘, 进行像素级边缘的识别, 图像边缘是模糊的. 发动机连杆图像中的真实边缘位置是目标与背景的跃阶边缘, 表现为图像像素点导数发生最大变化所对应的位置. 以像素级边缘为基础, 通过梯度算子插值, 采用式(16)计算亚像素边缘:

$ \left\{ {\begin{array}{*{20}{c}} {X = w + \dfrac{1}{2} \cdot \dfrac{{{G_{ - 1}} - {G_1}}}{{{G_{ - 1}} + {G_1} - 2{G_0}}} \cdot D\cos (\theta )} \\ {Y = h + \dfrac{1}{2} \cdot \dfrac{{{G_{ - 1}} - {G_1}}}{{{G_{ - 1}} + {G_1} - 2{G_0}}} \cdot D\sin (\theta )} \end{array}} \right. $

(16)

其中, $ (X,Y) $ 为求得的亚像素的坐标值, $ (w,h) $ 为原先求得像素级的边缘, D为梯度方向上相邻的两个像素的距离, $ \theta $ 为梯度方向与水平方向夹角, $ {G_k}(k = - 1,0,1) $ 为边缘点的梯度值.

对图3所示经过阴影去除与图像增强的发动机连杆图像, 进行Sobel边缘检测算子检测边缘、基于Zernike矩的亚像素级检测边缘、基于梯度插值的亚像素级检测边缘, 如图5所示. 分析图5, 基于梯度插值的亚像素级边缘检测与定位精度准确性最高.

3.2 连杆图像几何特征检测与参数识别

基于Hough变换实现汽车发动机连杆图像中几何特征直线、圆的分类检测. Hough变换通过坐标变换将图像空间中的曲线映射到参数空间中的点上形成峰值, 通过在参数空间中寻找峰值检测图像空间中的曲线, 把图像空间中具有整体特性的几何形状特征检测转化为参数空间中局部特性峰值点的统计.

基于Hough 变换的几何特征检测基本过程为: 设置参数变化范围和步长; 建立表达参数空间参数累加的数组, 置为0; 遍历图像的所有像素, 计算其映射到参数空间中对应的参数值, 对应的累加器数组加 1; 确定参数空间累加器的最大值; 将其映射回图像空间获得对应的直线参数. 对于汽车发动机连杆图像中直线、圆检测, 其参数空间为二维空间(ρ, θ)、三维空间(a, b, r), 其中ρ为极径, θ为极角, (a, b)为圆心, r为半径. 基于Hough变换实现汽车发动机连杆图像大孔圆、下边缘直线检测, 结果如图6所示. 分析图6, 几何特征检测与定位精度准确性较高.

最小二乘法是基于统计的数学优化, 按偏差平方和最小的原则, 寻找一组数据满足的最佳匹配函数, 应用于图像处理各种几何特征参数识别, 可实现亚像素级别的精确拟合定位. 以发动机连杆图像几何特征检测为基础, 以像素点到几何特征的欧式距离和最小, 采用最小二乘法拟合几何特征参数.

以发动机连杆质量多参数视觉检测系统第一检测工位水平检测工位采集发动机连杆图像, 检测发动机连杆图像边缘直线, 采用最小二乘拟合分析直线参数, 计算边缘直线的对称中心线, 分析对称中心线与大小圆孔中心线间的距离, 计算弯曲度.

以发动机连杆质量多参数视觉检测系统第二检测工位垂直检测工位采集发动机连杆图像, 检测发动机连杆图像边缘直线, 采用最小二乘拟合分析直线参数, 计算边缘直线的对称中心线, 分析对称中心线的直线度, 计算扭曲度.

4 连杆质量多参数检测应用实例

针对同时实现汽车发动机连杆几何参数、弯曲、扭曲检测问题, 提出基于机器视觉的汽车发动机连杆质量多参数检测. 构建汽车发动机连杆质量多参数检测视觉系统, 如图7所示, 实现图像的采集. 研究基于多阈值分析与同态滤波的图像预处理, 去除发动机连杆图像中的阴影、增强图像对比度. 基于亚像素级分析与Hough变换检测发动机连杆图像的直线、圆等几何特征目标, 采用最小二乘法拟合, 识别并分析发动机连杆几何特征、弯曲、扭曲参数, 实现基于机器视觉的汽车发动机连杆质量多参数检测.

考虑到连杆质量参数的类型包括大小孔半径、圆心坐标、孔心距、弯曲度、扭曲度, 与车型无关; 不同车型的连杆质量参数大小不同. 本文对丰田霸道普拉多、丰田卡罗拉、骐达骊威、宝马320Li时尚型、柴油机发动机QC4905不同车型的发动机连杆, 进行了基于机器视觉的发动机连杆质量多参数检测. 考虑到不同车型间质量参数类型一样, 参数大小不同, 不同类型间的对比性不强, 从共性通用技术应用的角度, 以丰田霸道普拉多车用发动机连杆为例, 通过基于机器视觉的发动机连杆质量多参数检测系统, 第1检测工位水平检测工位、第2检测工位垂直检测工位采集的发动机连杆图像, 如图8所示.

以该连杆在不同位置测试10次, 采用本文方法检测识别发动机连杆几何参数大小孔的圆心坐标、半径、实验结果如表1所示; 质量参数孔心距、水平弯曲度、垂直扭曲度, 并判断汽车发动机连杆的质量是否合格, 是否需要弯曲、扭曲矫正, 实验结果如表2所示.

5 结束语

围绕同时实现汽车发动机连杆质量几何参数、弯曲、扭曲检测问题, 构建了汽车发动机连杆质量多参数检测视觉系统. 分析了单一颜色空间发动机连杆图像连阴影消除方法存在的问题, 研究了基于多阈值分析的彩色图像阴影消除. 设计了高斯型同态滤波器增强图像对比度. 基于Sobel算子与梯度算子插值, 实现图像亚像素边缘检测. 基于Hough变换实现图像、直线、圆等目标检测, 采用最小二乘拟合识别汽车发动机连杆大小孔圆心、大小孔半径、边缘直线参数, 并分析了孔心距、弯曲度、扭曲度参数, 为汽车发动机连杆的质量是否合格, 是否需要弯曲、扭曲矫正提供依据.