1 引言

输电线路巡检是保证输电可靠性和防止电力安全事故发生的重要措施之一. 在过去, 依赖于巡检员定期巡检, 这是项劳动密集型的工作, 耗费大量的人力物力. 现如今, 无人机技术快速发展, 文献[1–5]提出了无人机巡检方案. 通过搭载光学设备的无人机获取输电线路的图像, 然后对图像进行处理完成巡检工作. 输电线检测是图像处理至关重要的环节, 只有准确的检测出输电线, 才能进一步分析和诊断输电线是否发生破损、断股等故障.

边缘检测是直线检测得关键步骤, 在文献[6–8]中都应用了Canny边缘检测算法, 虽然在文献[9,10]中都对Canny算法进行了改进, 主要是针对梯度方向上的改进. 然而Canny算法还有很大一个弊端, 那就是双阈值, 且阈值没有自适应能力, 针对每一张图像都需要进行繁琐得人工调参. 严重影响了工作效率.

在文献[11–15]中都是采用Hough变换的方法进行直线检测, 虽然都能检测出直线, 但是存在很多干扰直线段, 并没有很好得排除误检直线段. 而且还会因为一些局部遮挡导致检测出来得直线发生间断, 只是把它们简单的连接起来, 存在较大得偏差.

针对上述问题, 提出了一种基于无人机图像的输电线检测方法, 该方法主要贡献如下:

1) 通过Otsu获取高低阈值的方法改进Canny边缘检测算法, 有效避免人工调参, 大大提升了效率和为软件自动化提供有力保障.

2) 使用分式查表法改进Hough变换, 大大减小检测时间.

3) 提出线-线空间信息分析方法, 能够有效的对Hough变换所检测的直线段进行筛选和拟合.

4) 提出完整的基于无人机图像的输电线检测方法, 为后续的输电线破损、断股等故障诊断提供便利.

2 本文算法

如图1所示, 为本文算法的整体流程. 首先, 通过Otsu获取高低阈值的方法改进Canny边缘检测算法, 用于提取输电线图像边缘; 然后, 通过数学形态学方法处理边缘检测得到的二值图像, 并用分式查表法改进的Hough变换对数学形态学处理后的图像进行直线段检测; 最后, 提出线-线空间信息分析的方法, 对检测出来的直线段进行筛选和拟合.

2.1 自适应阈值Canny边缘检测

Canny边缘检测的主要步骤: 首先, 使用高斯低通滤波器对输电线图像滤波, 达到平滑降噪的目的. 然后, 计算输电线图像的梯度大小和方向, 并用非极大值抑制方法抑制梯度幅值. 最后, 采用高低阈值消除伪边缘和边缘连接. 本文的高低阈值通过Otsu方法获取, 具体流程如图2所示.

2.1.1 滤波消除噪声

使用高斯低通滤波器对输电线图像滤波, 达到平滑降噪的目的, 二维高斯函数为:

$G\left( {{{x}},y,\sigma } \right) = \frac{1}{{2\pi \sigma }}\exp \left( {\frac{1}{{2\sigma }}\left( {{x^2} + {y^2}} \right)} \right)$

(1)

其梯度向量为:

$\nabla G = \left[ {\frac{{\partial G/\partial x}}{{\partial G/\partial y}}} \right]$

(2)

其中,

$\frac{{\partial G}}{{\partial x}} = kx\exp \left( { - \frac{{{x^2}}}{{2{\sigma ^2}}}} \right)\exp \left( { - \frac{{{y^2}}}{{2{\sigma ^2}}}} \right)$

(3)

$\frac{{\partial G}}{{\partial y}} = ky\exp \left( { - \frac{{{x^2}}}{{2{\sigma ^2}}}} \right)\exp \left( { - \frac{{{y^2}}}{{2{\sigma ^2}}}} \right)$

(4)

原图F(x, y)经过平滑滤波器的卷积操作后就得到了输出图像I(x, y), 其中, k为高斯滤波器参数, 用于控制平滑度.

2.1.2 计算梯度值

依次计算3×3邻域的0°, 45°, 90°, 135°方向的一阶偏导数,

${P_{{0^\circ }}} = I\left( {i + 1,j} \right) - I\left( {i - 1,j} \right)$

(5)

${P_{{{45}^\circ }}} = I\left( {i - 1,j + 1} \right) - I\left( {i + 1,j - 1} \right)$

(6)

${P_{{{90}^\circ }}} = I\left( {i,j + 1} \right) - I\left( {i,j - 1} \right)$

(7)

${P_{{{135}^\circ }}} = I\left( {i + 1,j + 1} \right) - I\left( {i + 1,j - 1} \right)$

(8)

进行偏导数合并,

${P_{x'}} = \left( {\sqrt 2 - 1} \right){P_{{0^\circ }}} + \frac{{\left( {2 - \sqrt 2 } \right)\left( {{P_{{{45}^\circ }}} + {P_{{{135}^\circ }}}} \right)}}{2}$

(9)

${P_{y'}} = \left( {\sqrt 2 - 1} \right){P_{{{90}^\circ }}} + \frac{{\left( {2 - \sqrt 2 } \right)\left( {{P_{{{45}^\circ }}} + {P_{{{135}^\circ }}}} \right)}}{2}$

(10)

计算梯度的幅值和方向,

$M\left( {x,y} \right) = \sqrt {{P_{x'}}^2 + {P_{y'}}^2} $

(11)

$\theta (x,y) = \arctan \left( {\frac{{{P_{x'}}}}{{{P_{y'}}}}} \right)$

(12)

2.1.3 Otsu法选取阈值

Otsu是简单高效的自适应阈值选取方法. 其主要思想是通过最大化类间方差来选取出实现最佳分割的阈值.

用灰度图表示输电线路图像, 从而计算出灰度直方图, 并将其归一化后得到,

$\Pr \left( {{r_q}} \right) = \frac{{{n_q}}}{n} \;\;\; q = 0,1,2,\cdots,l - 1$

(12)

其中, n表示图像的总像素数, ${{{n}}_q}$ 表示在 ${r_q}$ 灰度级的像素数, l表示图像拥有的灰度级数.

用k和m表示高低阈值, 那么第一类的像素灰度级为[0, 1, 2, …, k], 第二类的像素灰度级为[k+1, k+2, …, m], 第三类的像素灰度级为[m+1, m+2, …, l–1], 可定义类间方差函数为:

${\sigma _B}^2 = {\omega _0}{\sigma _0}^2 + {\omega _1}{\sigma _1}^2 + {\omega _2}{\sigma _2}^2$

(13)

其中,

${\omega _0} = \sum\nolimits_{q = 0}^k {{P_r}} ({r_q}), $

${\mu _0} = \sum\nolimits_{q = 0}^k {q{P_r}} ({r_q})/{\omega _0}, $

${\omega _1} = \sum\nolimits_{q = k + 1}^m {{P_r}} ({r_q}), $

${\mu _1} = \sum\nolimits_{q = k + 1}^m {q{P_r}} ({r_q})/{\omega _1}, $

${\omega _2} = \sum\nolimits_{q = m + 1}^{l - 1} {{P_r}} ({r_q}), $

${\mu _2} = \sum\nolimits_{q = m + 1}^{l - 1} {q{P_r}} ({r_q})/{\omega _2}, $

${\sigma _0}^2 = \sum\nolimits_{q = 0}^k {{{\left( {q - {\mu _0}} \right)}^2}} /{\omega _0}, $

${\sigma _1}^2 = \sum\nolimits_{q = k + 1}^m {{{\left( {q - {\mu _1}} \right)}^2}} /{\omega _1}, $

${\sigma _2}^2 = \sum\nolimits_{q = m + 1}^{l - 1} {{{\left( {q - {\mu _2}} \right)}^2}} /{\omega _2}, $

类间方差函数分别对k和m求一阶偏导数可得:

$\frac{{\partial {\sigma _B}^2}}{{\partial x}} = {\left( {k - {\mu _0}} \right)^2}{P_k} - {\left( {k - {\mu _1}} \right)^2}{P_k}$

(14)

$\frac{{\partial {\sigma _B}^2}}{{\partial m}} = {\left( {m - {\mu _1}} \right)^2}{P_m} - {\left( {m - {\mu _2}} \right)^2}{P_m}$

(15)

从而得到,

$2k - {\mu _0} - {\mu _1} = 0$

(16)

$2m - {\mu _1} - {\mu _2} = 0$

(17)

因此, 满足公式(17)(18)的k和m就是所取得高低阈值.

2.1.4 确定边缘

采用以下策略来确定像素点是否为边缘像素:

1) 若像素幅值大于高阈值, 则判定为边缘像素.

2) 若像素幅值小于低阈值, 则判定为非边缘像素.

3) 若像素幅值在高、低阈值之间, 且该像素连接到边缘像素时, 判定为边缘像素, 否则判定为非边缘像素.

2.2 形态学处理

形态学处理是图像上下文像素集合的非线性运算. 可通过对2.1所述边缘检测方法得到的二值图像进行膨胀运算, 从而实现输电线边缘间断点的连接, 然后通过腐蚀运算使得输电线面积不产生大的变化.

膨胀运算是将图像A与核B进行卷积, 计算出图像A被核B覆盖区域像素的局部最大值, 并将此局部最大值赋给图像A被核B覆盖区域的中心位置. 数学表达式为:

$A'\left( {x,y} \right) = \mathop {\max }\limits_{ - \frac{{sizeB}}{2} < i,j < \frac{{sizeB}}{2}} A\left( {x + i,y + i} \right)$

(18)

腐蚀运算则与膨胀运算恰恰相反, 将图像A与核B进行卷积, 计算出图像A被核B覆盖区域像素的局部最小值, 并将此局部最小值赋给图像A被核B覆盖区域的中心位置. 数学表达式为:

$A'\left( {x,y} \right) = \mathop {\min }\limits_{ - \frac{{sizeB}}{2} < i,j < \frac{{sizeB}}{2}} A\left( {x + i,y + i} \right)$

(19)

2.3 Hough变换直线段检测 2.3.1 概述

Hough变换实现了图像空间到参数空间得映射关系, 被广泛应用于直线检测.

如图3所示, 展示了Hough变换应用于直线检测的主要思想: 根据图像空间和Hough参数空间的对偶性. 首先, 把图像空间中的像素点变换到Hough参数空间中. 然后, 在Hough参数空间里进行累加统计. 最后, 查找累加器的峰值, 从而检测出直线.

2.3.2 对偶性分析

在图像空间的笛卡尔坐标系中, 所有共线的点 $\left( {x,y} \right)$ 可用直线方程描述为:

$y = kx + b$

(20)

其中, k为斜率, b为截距. 将其转换到Hough参数空间的极坐标系下可得:

$y = \left( { - \frac{{\cos \theta }}{{\sin \theta }}} \right)x + \frac{\rho }{{\sin \theta }}$

(21)

因而就有:

$\left\{ {_{b = \dfrac{\rho }{{\sin \theta }}}^{k = - \dfrac{{\cos \theta }}{{\sin \theta }}}} \right.$

(22)

由于k和b为定值, 所以在图像空间中的直线变换到Hough参数空间中就成了点.

在图像空间的笛卡尔坐标系中, 过点 $\left( {{x_0},{y_0}} \right)$ 的直线束可描述为:

$A\left( {x - {x_0}} \right) + B\left( {y - {y_0}} \right) = 0$

(23)

其中, A和B为系数, 每一组A和B将对应一条直线. 将其转换到Hough参数空间的极坐标系下可得:

$\rho = {x_0}\cos \theta + {y_0}\sin \theta $

(24)

在图像空间的笛卡尔坐标系中过定点 $\left( {{x_0},{y_0}} \right)$ 的所有直线, 可用Hough参数空间的极坐标系下正弦曲线来描述.

2.3.3 分式查表法改进Hough

经典Hough变换具有计算量大, 存储空间消耗大等劣势. 根据2.3.2的对偶性分析, 也可以使用直线的斜率k和截距b来建立参数空间, 并且使用分式查表法进行改进. 将斜率和截距用分式表示, 具体思路如下:

以大小为 ${{m}} \times n$ 的图像为例(其中m>n). 首先, 将1~m的整数进行分解, 如8可分解为: “ $1 \times 8$ ”、“ $2 \times 4$ ”, 18可分解为: “ $1 \times 18$ ”、“ $2 \times 9$ ”、“ $3 \times 6$ ”, 将这些化简方案存储起来得到分式化简表. 然后, 将1~m的整数进行两两相除, 并利上一步得到的分式化简表进行查表化简, 得到最简分式表.

在建立好最简分式表之后, 检测斜率时, 就用上述的分式化简表进行查表化简, 然后将结果在最简分式表对应位置的计数器加1. 最后, 找出计数器值大于阈值的位置的斜率.

使用类似方法, 分别在已求得的斜率下进行截距检测, 找出计数器值大于阈值的位置的截距.

2.4 直线段筛选拟合 2.4.1 直线段分析

分析经过Hough变换之后检测出的直线段, 可以归为以下几类:

1) 如图4所示, 分段直线段, 但它们属于同一条输电线.

2) 如图5所示, 相互交叠的直线段, 但是它们属于同一条输电线.

3) 如图6所示, 存在误检的直线段, ${A_1}{B_1}$ 是输电线, 而 ${A_2}{B_2}$ 是误检的直线段.

2.4.2 线-线空间信息分析

定义直线段 ${s_1}$ 、 ${s_2}$ 的分离度 $r\left( {{s_1},{s_2}} \right)$ 和方向相差度 $u\left( {{s_1},{s_2}} \right)$ ,

$r\left( {{s_1},{s_2}} \right) = \frac{{\left| {\overrightarrow {{B_1}{A_2}} } \right|}}{{\left| {\overrightarrow {{A_1}{B_1}} } \right| + \left| {\overrightarrow {{B_1}{A_2}} } \right| + \left| {\overrightarrow {{A_2}{B_2}} } \right|}} $

(25)

$\begin{aligned} u\left( {{s_1},{s_2}} \right) & =\left| {\arctan \left( {\dfrac{{{y_{{B_1}}} - {y_{{A_1}}}}}{{{x_{{B_1}}} - {x_{{A_1}}}}}} \right) - \arctan \left( {\dfrac{{{y_{{B_1}}} - {y_{{A_2}}}}}{{{x_{{B_1}}} - {x_{{A_2}}}}}} \right)} \right|\\ & + \left| {\arctan \left( {\dfrac{{{y_{{B_1}}} - {y_{{A_2}}}}}{{{x_{{B_1}}} - {x_{{A_2}}}}}} \right) - \arctan \left( {\dfrac{{{y_{{A_2}}} - {y_{{B_2}}}}}{{{x_{{A_2}}} - {x_{{B_2}}}}}} \right)} \right| \end{aligned}$

(26)

针对2.4.1所述情况, 分离度和方向相差度的表现结果如表1所示,

因此, 可以根据线-线空间信息分析: 把与多条直线段的方向相差度都很大的直线段判定为误检直线段并将其剔除; 把方向相差度很小且分离度很小的直线段进行连接; 把方向相差度很小且分离度较大的直线段进行合并. 最终实现了直线段的筛选和拟合, 完成输电线检测.

3 实验结果与分析

为验证本文算法在边缘检测阶段Canny阈值自适应的便利性, 分式查表法改进Hough变换的高效性和直线筛选拟合时的线线空间信息分析方法的良好性能, 以及对本文算法的整体效果评价. 在无人巡线图像上进行实验, 实验所用环境为Win10系统下, VS2015+ Opencv, 硬件设备CPU为i7-7700K, 内存16 G.

3.1 Canny阈值自适应的便利性

本组实验, 选取2组无人机巡线图像, 分别使用手动阈值和自适应阈值的Canny边缘检测方法对巡线图像进行边缘检测. 效果如图7所示.

在使用经典Canny边缘检测方法时: 图7(a)和图7(d)由于阈值过小, 造成检测出来的边缘过多, 并且凸显了背景中树叶等物体边缘对输电线检测造成干扰的问题; 图7(b)和图7(e)由于阈值过大, 甚至造成了输电线边缘的丢失. 可见, 阈值对Canny边缘检测效果是至关重要的, 然而在使用经典Canny方法时, 针对不同图像, 阈值都需要一次次手动调整, 并且想要调整出合适的阈值, 是一项非常繁琐, 工作量巨大的任务. 本文提出了Otsu方法来自适应获取阈值, 其处理效果如图7(c)和(f)所示, 即实现了不错的处理效果, 同时又避免了繁琐的人工调阈值.

3.2 分式查表法改进Hough变换的高效性

本组实验分别使用经典Hough变换直线检测和分式查表法改进的Hough变换在无人机巡线图像大小为 $128 \times 128$ , $256 \times 256$ , $800 \times 600$ 的图像上进行实验, 检测所需时间如表2所示.

从表2可以看到, 在图像为 $128 \times 128$ 时, 经典Hough变换所需时间为3.7 s, 而分式查表法Hough变换几乎是可以忽略的时间. 随着图像增大为 $256 \times 256$ 时, 分式查表法Hough变换所需时间仅是经典Hough变化的千分之一数量级. 进一步增大图像到 $800 \times 600$ , 所需时间达到万分之一数量级. 可见, 随着图像的增大, 分式查表法Hough变换所体现出来的速度优势更大.

在图像采集设备性能越来越好的背景下, 由于后续需要进行输电线的破损等故障检测, 所采集的无人机巡线图像往往是高分辨率的大图, 分式查表法改进的Hough变换可以很好的解决Hough变换检测时所带来的计算量大, 耗时严重的问题.

3.3 线线空间信息分析方法的良好性能

本组实验, 选取2组无人机巡线图像进行实验. 提取出Hough变换直线段检测的结果图和经过本文提出的线线空间信息分析方法对直线段筛选拟合的结果图, 将他们作对比.

实验结果如图8所示, 其中图8(b)和图8(e)为Hough变换直线段检测的结果, 可以看到, 同一条输电线上出现了多条相互交叠的直线段, 主要是由于无人机拍摄距离较近, 并且形态学处理中有膨胀运算, 造成输电线横截面方向占据的像素点较多. 同一条输电线上还有少量的直线段之间会出现间断, 这是受到部分输电线的局部位置被腐蚀和边缘检测效果等因素的影响. 在图8(e)中还出现了误检, 这是由于图像背景复杂, 受到边上连续茂密树叶的干扰. 在通过本文提出的线线空间信息分析方法处理后, 结果如图8(c)和8(f)所示, 可以很好的将属于同一条输电线的大量交叠直线段和少量间断直线段拟合成一条完整的直线, 并且还可以滤除误检出来的直线段.

3.4 算法综合评价

本组实验, 共选取134张无人机巡线图像, 共含输电线318根, 使用本文算法进行实验. 从检测率和误检率两个层面进行统计与评价. 具体结果如表3所示. 最终正确检测出284根输电线, 检测正确率高达89.30%, 而误检根数只有12根, 误检率低至3.77%. 而对于未改进的原始Canny+Hough方法, 所得的检测正确率只有64.79%, 误检率高达20.44%. 可见, 本文Otsu方法改进的Canny边缘检测的阈值恰当, 提出的线线空间分析方法可以很好的对Hough变换检测出来的直线段进行筛选拟合. 通过本组实验, 验证了本文算法具有正确率高, 误检率低的优点.

4 总结

本文提出的方法: 通过基于Otsu的自适应阈值Canny边缘检测方法对无人机图像进行边缘检测得到二值图像, 然后经过数学形态学方法处理后, 用分时查表法改进的Hough变换进行直线段检测, 最后用线-线空间信息分析的方法进行直线段筛选和拟合, 最终检测出输电线.

通过在无人机图像上实验, 验证了这是一种性能良好的基于无人机图像的输电线检测方法.