煤炭作为我国的重要能源之一, 主要采用传送带输送机进行煤炭的输送, 所以传送带运输机的运行状况直接影响着煤矿的产能和效率^[1]. 近年来我国的经济也在进一步转型, 煤矿企业也正在改变过去的生产经营模式, 大力推广节能降耗技术, 提高能源利用率^[2]. 煤矿井下传送带运输距离远、运输量大、运输时间长, 而且因为生产需要, 不能随时停机, 导致传送带输送机经常无煤空载, 不仅浪费了电能, 对输送机损害严重, 而且影响煤矿的产能和效益^[3]. 据统计, 每年煤矿传送带空载造成的电能亏损占到正常运行电能损耗的30%. 所以本文通过检测传送带输送机的煤量、判断运行状态, 防止传送带无煤空载, 节省电能, 提高传送带的工作效率.

传统的输送机为了防止堆煤, 大部分采用逆煤流的启动方式, 造成多台输送机长时间空载运行, 严重浪费了电能. 国内煤矿主要采用变频器调整电压和电流, 进而控制传送带的速度^[4], 后来利用PLC变频调速技术自动控制运行速度, 但无法根据实际煤量自动调整. 刘鸿利^[5]针对这一问题, 设计了一种载荷检测的煤矿运输机控制系统, 该系统根据传送带上的煤量自动判断传送带是否处于空载状态, 从而自动控制传送带的速度. 但在复杂艰苦的煤矿环境下, 电磁容易受到干扰、电源异常、变频器损坏^[6]. 随着煤矿行业信息智能化技术的不断深入, 国内大部分煤矿都安装了传送带输送机的视频监控系统和集成系统. 所以程健等^[7]对煤矸石的视频特征分析, 采用改进的高斯混合模型提取视频背景, 实现煤矸石的检测和识别. 张瑞勋等^[8]结合Faster R-CNN模型, 提出传送带目标检测方法. 该方法对传送带上的药盒及空位目标进行检测, 以此判断传送带的拥堵状态. 这两种方法在实时性和处理速度方面有待提高. 而YOLOv3是一个很好的检测器, 检测速度快, 准确率高.

本文采用边缘结构相似算法和YOLOv3目标检测相结合的方法. 首先基于边缘结构相似算法判断传送带的启停状态, 通过边缘结构特征比较图像之间的差异, 判断传送带处于运行状态还是停机状态. 当判断出传送带运行时, 通过改进的YOLOv3目标检测方法检测传送带上的煤量. 当传送带运行并且无煤时, 传送带处于空载状态.

1 空载检测的方法

传送带空载状态需要具备两个条件: 传送带正在运行, 并且传送带上不运输煤炭. 本文方法包括3个模块, 模块1判断传送带是否处于运动状态, 模块2是目标检测模块, 通过目标检测判断传送带是否空载. 模块3是广播预警模块, 当传送带空载时, 发出警告. 传送带空载检测方法的流程图如图1所示.

1.1 基于边缘结构相似的传送带状态判断

煤矿井下的摄像头将采集的传送带视频转化为图像, 然后通过相邻帧图像的相似度来判断传送带的运行状态.

图像一般具有亮度、灰度、对比度等结构特征, 这些结构特征能够描述图像的信息. 结构相似性(SSIM)^[9]就是衡量两张图片相似度的重要指标. 传统的图像相似度通过均方差MSE、峰值信噪比PSNR等方法来比较像素之间的差异, 虽然计算简单, 但没有充分考虑人类的视觉系统^[10]. 煤矿井下传送带运输系统视觉条件差, 并且传送带运行时, 煤流宽度及纹理在变化, 有时采集的视频煤量边缘和传送带颜色相近, 基于上述产生的问题, 本文首先计算整张图片平均结构相似性, 然后运用Sobel算子提取图像不同尺度的边缘值, 计算边缘结构相似度. 将两者融合来比较图像的相似度, 每隔10帧检测图像的相似度, 连续检测3次, 判断传送带是否运行. 算法实现步骤如下:

(1)将图像分成N×N共M个图像块, 分别计算每一个图像块的均值、方差及协方差, 然后计算对应图像块的结构相似性. SSIM的公式定义如下:

${{S\!S\!I\!M}}(X,Y)\! =\! {\left[ {l(x,y)} \right]^\alpha }{\left[ {c\left( {x,y} \right)} \right]^\beta }\! =\! \frac{{4{\mu _{x}}{\mu _y}{\sigma _x}_y}}{{\left( {{\mu _x^2} + {\mu _y^2}} \right)\left( {{\sigma _x^2} + {\sigma _y^2}} \right)}}\quad\quad\!\!\!\!\!\!\!\!\!\!\!\!\!\!\!\!\!\!\!\!\!$

(1)

其中, SSIM的衡量指标亮度函数、对比度函数的计算分别为α、β主要调节指标的相对重要程度. 然后以单位像素移动图像块, 使整张图像结构相似度指标计算完毕. 最后将结构相似性(SSIM)的平均值比较两张图片的相似度. 由此, 整张图像的平均结构相似性表示为(MSSIM):

${{MSSIM}} = \frac{{\rm{1}}}{{{M}}}\sum\limits_{i = 1}^M {{{SSIM}}\left( {{x_i},{y_i}} \right)} $

(2)

(2)图像块分别选取双尺度3×3和5×5的窗口, 利用Sobel边缘检测算法和梯度提取其边缘信息, 计算每个尺度边缘幅度的估计值函数 $ {e}_{1}(x,\;y)$ , $ {e}_{2}(x,\;y)$ . 将不同尺度的边缘估计值函数加权求和计算出每个图像块的边缘结构相似性 $ e(x,\;y)$ , α取1/2.

$e\left( {x,y} \right) = \alpha {e_1}\left( {x,y} \right) + \left( {1 - \alpha } \right){e_2}\left( {x,y} \right) $

(3)

(3)将结构相似性、边缘相似度相合并, 不断移动窗口计算整张图像的边缘结构相似性(ESSIM). 然后计算整张图像的平均边缘结构相似性(MESSIM).

$\left\{ \begin{split} &{{E\!S\!S\!I\!M}}\left( {x,y} \right)\! =\! {[l\left( {x,y} \right)]{^\alpha }}{[c\left( {x,y} \right)]^{\beta }}{[e\left( {x,y} \right)]^\gamma },\; {\alpha \! =\! \beta \! =\! \gamma \! = \! 1} \\ &{{M\!E\!S\!S\!I\!M}} = \dfrac{1}{M}\displaystyle\sum\limits_{i = 1}^M {{{E\!S\!S\!I\!M}}\left( {{x_i},{y_i}} \right)} \end{split}\right. \!\!\!\!\!\!\!\!\!\!\!\!\!\!\!\!\!\!$

(4)

1.2 YOLOv3目标检测

在1.1节中通过图像之间的边缘结构差异判断了传送带是否运行. 在运行的基础上检测煤量.

基于深度学习的目标检测算法采取从关注分类到基于回归的思路, 从RCNN^[11]到YOLO^[12]、SSD^[13]、YOLOv2^[14]、YOLOv3^[15], 目标检测的速度和准确度都在逐渐提高. YOLOv3利用多尺度检测目标物体的位置、大小, 准确率高、速度快. 适合应用于实时的工程目标检测. YOLOv3以Darknet-53作为基础网络, 主要由一系列的3×3和1×1卷积层、残差结构构成. 其中卷积层用来提取图像的特征, 通过调整卷积步长控制特征图的输出尺寸. 每个卷积层后增加批标准化(batch normalization)和Leaky ReLU激活层降低差异性、加速收敛和避免过拟合. 残差结构通过增加网络深度提高准确率, 缓解梯度消失问题. 图2表示了YOLOv3的数据流程图, 输入图像大小以256×256为例. 经过Darknet-53网络、YoloBlock生成的特征图分为两个分支, 第一个分支经过3×3、1×1卷积之后生成特征图一, 第二个分支经过1×1卷积层加上采样层, 与Darknet-53网络中间层的输出结果按照通道维度进行拼接, 生成第二个特征图. 如此循环得到第三个特征图.

YOLOv3添加了类似的特征金字塔网络(FPN), 采用多尺度对不同大小的物体进行检测. 在确保实时性的基础上提高了准确率. YOLOv3输出3种不同尺度的特征图, 每个网格预测3个边界框(bounding box), 每个边界框包含5个要素(x, y, w, h, confidence), 即边界框的4个偏移量和1个目标的预测. 在COCO数据集中有80个类别, $N \times N$ 表示输出特征图的网格数, 所以输出张量为 $N \times N \times \left\lceil {3 \times \left( {4 + 1 + 80} \right)} \right\rceil$ . 本文检测的是有煤、无煤两类, 修改YOLOv3的分类器, 得到输出维度为 $3\times\left( {5 + 2} \right) = 21$ .

1.3 自适应锚框机制

本文通过YOLOv3锚框机制来完成目标检测任务, 根据传送带上的煤量范围, 使用聚类维度来预测锚框(anchor box), 通过锚框预测区域建议产生预测框(bounding box). 当预测框(bounding box)和实际真实框(ground truth box)的差值很小时, 就可以比较准确的定位目标物体. 这就需要设置不同大小和纵横比的锚框, 得到9个锚框, 将其平均分配到输出的3个特征图上. 同时YOLOv3使用逻辑回归(logistic regression), 去掉不必要的锚框, 从9个锚框中找到最有可能是目标的锚框来预测物体的类别、位置.

随着物体变得复杂, 默认锚框的数量也会增加, 使预测变得复杂. 为了更有效的定位目标物体, 本文提出了一种基于深度信息的自适应锚框机制, 其目标检测结构如图3所示. 首先输入的图像经过YOLOv3网络得到预测参数, 这些参数用来将归一化锚框变为归一化预测框. ${d_*}\left( P \right)$ (*表示x, y, w, h)为网络预测输出的参数^[9]. 将归一化默认锚框 $P = \left( {{P_x},{P_y},{P_w},{P_h}} \right)$ 和参数计算得到归一化预测框 $\hat G$ .

${\hat G_x} = {P_w}{d_x}\left( P \right) + {P_x}$

(5)

${\hat G_y} = {P_h}{d_y}\left( P \right) + {P_y}$

(6)

${\hat G_w} = {P_w}\exp \left( {{d_w}\left( P \right)} \right)$

(7)

${\hat G_h} = {P_h}\exp \left( {{d_h}\left( P \right)} \right)$

(8)

从摄像头中获取深度图像, 然后计算图像中每个像素的比例因子以形成比例映射. 计算的比例因子可以自动改变锚框大小. 根据煤矿井下摄像头拍摄到的图像建立数学模型, 使得摄像头到物体之间的距离与采集的图像大小之间可以转换. 从采集到的深度图像中计算比例因子, 定义摄像头与物体之间的距离为深度h, 物体的长度为l, 摄像机的长度为f, 成像物体的长度s为比例因子, 计算的比例因子 $s = f \times l \div h$ . 通过比例因子与归一化预测框计算公式, 式(5)–式(8)大小相乘得到区域建议.

该结构放弃了预测物体大小的过程, 更关注物体的中心的像素坐标和宽高比例. 不从卷积层提取特征, 而从摄像头收集的深度图像中计算的比例因子自动改变锚框的大小, 将预测不同大小的物体. 当摄像头角度发生变化时, 计算的比例因子仍然不变, 使得目标检测模型也能达到很强的适应性和较高的准确率.

2 实验 2.1 制作数据集

本文的数据来源于三甲煤矿不同机头和机尾、不同的拍摄角度、不同的时间段的传送带监控视频数据, 具有代表性. 三甲煤矿摄像头采用KBA127矿用隔爆型摄像仪安装在各个传送带的正上方, 距离传送带2米, 光源对准传送带, 采集10段不同场景的视频, 每个场景包含有煤运行、无煤运行、无煤停止3种类型的视频, 将视频数据按每相邻3帧截成8000张图像数据集, 挑选不同场景的、清晰的3500张有煤(包括少煤、多煤), 选择3500张无煤作为训练集, 对训练集按照COCO数据集标注标准进行标注, 生成XML文件. 选取没有训练的1000张图像(有煤、无煤)作为测试集来验证实验的可靠性.

2.2 实验流程

首先对数据集进行预处理, 图像裁剪将图片尺寸裁剪为240×240, 图像池化使用卷积神经网络池化层的思想, 对目标区域的像素值起到平滑的效果. 对预处理之后训练集使用YOLO_mark工具进行标注, 然后通过边缘结构相似算法每相隔10帧比较图像的相似度, 连续比较3次, 若平均边缘结构相似性(MDESSIM)的值越低, 则两幅图像的相似度越低, 差异越大, 则可以判断传送带处于运行状态. 若两幅图MDESSIM的值不变, 则传送带处于停机状态. 当传送带运行时, 通过改进的YOLOv3目标检测模型对目标区域的煤炭进行检测, 当检测到有煤时, 认为传送带上有煤运输. 相反, 在15 s内没有检测到煤炭, 且传送带正在运行, 则判断传送带处于空载状态, 提醒工作人员实行空载时自动降速或停机的操作.

2.3 实验结果分析与对比

(1) 图像MESSIM的比较

选取测试集进行测试, 每隔10帧计算图像的MESSIM, 如表1所示, 分别计算第1帧, 第10帧, 第20帧的MESSIM, 不同图像计算的MESSIM比较的结果如表1所示.

从表1可以看出, 当MESSIM的值为1时, 说明不同帧之间的图像都相同, 此时传送带处于停止状态. 而当MESSIM的值随着帧数的变化而降低时, 图像之间的相似度越来越低, 说明传送带正在运行.

(2)煤量检测结果

将传送带运行时的图像通过改进的YOLOv3模型训练, 检测传送带上是否有煤, 检测结果如图4所示.

在图4中, 传送带正在运行, YOLOv3自动检测传送带上的煤量, 并且根据煤流宽度, 自动调整检测框的大小, 尤其在煤量少时, 也不会出现误测. 当连续20 s内检测到无煤时, 就可以判断传送带正在空载.

(3)实验对比

在制作的传送带数据集上通过YOLOv2、YOLOv3和本文提出的方法进行对比, 比较平均准确率, 结果如表2所示.

YOLOv2通过改变锚框数量, 得到不同的平均准确率. 根据表2的实验结果, 说明当YOLOv2锚框的数量为2时, 检测的平均准确率较高, 随后增加锚框数量, 就会出现过拟合现象. 而YOLOv3的输出为3个特征图, 每个特征图至少需要分配一个锚框, 所以选择的锚框数量为3个. 由表2结果可以看出, 本文提出的方法准确率达到了96.85%, 与传统的YOLOv2、YOLOv3相比, 能达到更高准确率. 并且该实验在一张2080Ti显卡上运行的fps可以达到30~40之间, 满足实时性的需求. 从而能够更准确的判断出传送带的空载状态.

3 结论与展望

本文针对煤矿井下传送带空载问题, 提出了一种融合YOLOv3和边缘结构相似算法的井下传送带空载判定方法. 首先运用边缘结构相似算法比较图像的相似度, 从而判断传送带的运行状态. 然后通过自适应锚框机制的YOLOv3目标检测模型检测传送带上是否有煤. 通过这两个步骤判断传送带的空载状态. 实验结果表明, 边缘结构相似算法能够有效解决将空载状态误判为停机状态的问题, 准确判断传送带的运行状态. 自适应锚框机制的YOLOv3模型可以准确、快速的检测煤量. 综上, 本文提到的传送带空载检测方法能够实时可靠的检测传送带的空载状态, 达到节能降耗的目的. 从而提高煤矿企业的生产效率、经济效益和能源利用效率、打造能约节约型企业. 但是本文没有考虑光照、灰尘等因素对检测造成的影响, 这是下一步的研究方向.