﻿ 改进LK光流法在复杂环境中对移动小球目标追踪
 计算机系统应用  2019, Vol. 28 Issue (7): 221-227 PDF

Improved LK Method Tracks Mobile Ball in Complex Background
LIUXIA Xuan-De, SHEN Dan-Feng, ZHANG Xu-Xiang, ZHANG Guo-Ying
School of Mechanical and Electrical Engineering, Xi’an Polytechnic University, Xi’an 710048, China
Foundation item: Open Fund of Hubei Key Laboratory of Digital Textile Equipment (DTL2018004)
Abstract: For the traditional Lukas-Kanade (LK) method, it is hard to capture the ball center in the Ball-Plate system and the accuracy of tracking is not exact. A way to improve the LK method based on the Hough transform is proposed. Traditional LK method chooses corner where the change of gray scale is obvious in the image. Usually the cornet is distributed at the edge of circle and cannot go deep into the center of the circle. By using the improved LK method to select the corner, the two-dimensional XY coordinate system is transformed into 3D ABR coordinate system. The center is determined by accumulate number and accumulate weight. The ball is tracked by this center point’s gray scale. The results show that the improved optical flow method is better than the traditional LK optical flow and histogram method.
Key words: trackingball     improved LK method     Hough transform     histogram

1 基于Hough变换的改进光流法

LK光流法是利用人眼观察运动物体时, 物体的影像会在视网膜上形成一系列连续变化的图像, 这一系列连续变化的图像平面信息不断“流过”视网膜, 好像一种光的“流”[12]. 光流法研究的是像素运动的瞬时速度, 其原理是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系, 从而计算出相邻帧之间物体的运动信息的一种方法.

 图 1 LK光流法追踪小球角点位置和数量

1.1 霍夫圆变换原理

 图 2 霍夫圆变换对小球的识别

1.2 基于LK光流法的改进

1.2.1 视频预处理

1.2.2 修改dp分辨率

dp是圆心的累加器图像的分辨率与输入图像之比的倒数, 该参数与小球捕捉准确性关系近似为二次函数, 通过调整该参数确定最佳数值提高小球捕捉准确性.

 图 3 改进LK光流法流程图

1.2.3 建立小球三维圆锥模型

 ${\left( {x - a} \right)^2} + {\left( {y - b} \right)^2} = {r^2}$ (1)

 $\left\{ \begin{gathered} {{a}} = {x\rm{ - rcos}}\theta \\ {{b}} = {y\rm{ - rsin}}\theta \end{gathered} \right.$ (2)

1.2.4 修改param累加器

param2表示检测阶段圆心累加器的阈值, 同样该参数与小球捕捉准确性关系近似为二次函数, 通过调整该参数确定最佳数值再次提高小球捕捉准确性.

1.2.5 LK光流法金字塔层数确定

1.2.6 对特征点进行灰度求导

 $u = \frac{{dx}}{{dt}},v = \frac{{dy}}{{dt}}$

 $\left[ {\begin{array}{*{20}{c}} {Ex} \\ {Ex} \\ {Ex} \end{array}} \right]=\left[ {\begin{array}{*{20}{c}} {Ex + \Delta y} \\ {Ey + \Delta y} \\ {Et + \Delta t} \end{array}} \right]$ (3)

$Et$ 进行泰勒展开同时略去二阶无穷小, 有:

 \begin{aligned} \left[ {\begin{array}{*{20}{c}} {Ex + \Delta x}\\ {Ey + \Delta y}\\ {Et + \Delta t} \end{array}} \right]{\rm{ = }}&\left[ {\begin{array}{*{20}{c}} {Ex}\\ {Ey}\\ {Et} \end{array}} \right]{\rm{ + }}\left[ {\begin{array}{*{20}{c}} {\frac{{\partial Ex}}{{dx}} \cdot \frac{{dx}}{{dt}}}\\ 0\\ 0 \end{array}} \right]{\rm{ + }}\left[ {\begin{array}{*{20}{c}} 0\\ {\frac{{\partial Ey}}{{dy}} \cdot \frac{{dy}}{{dt}}}\\ 0 \end{array}} \right]\\ &{\rm{ + }}\left[ {\begin{array}{*{20}{c}} 0\\ 0\\ {\frac{{\partial Et}}{{dt}} \cdot \frac{{dt}}{{dt}}} \end{array}} \right]{\rm{ + }}\varepsilon \end{aligned} (4)

 $0=\left[ {\begin{array}{*{20}{c}} {\frac{{\partial Ex}}{{{\rm{d}}x}} \cdot \frac{{{\rm{d}}x}}{{{\rm{d}}t}}} \\ 0 \\ 0 \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} 0 \\ {\frac{{\partial Ey}}{{{\rm{d}}y}} \cdot \frac{{{\rm{d}}y}}{{{\rm{d}}t}}} \\ 0 \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} 0 \\ 0 \\ {\frac{{\partial Et}}{{{\rm{d}}t}}} \end{array}} \right]$ (5)

${I_x}=\frac{{\partial E}}{{{\rm{d}}x}}$ , ${I_y}=\frac{{\partial E}}{{{\rm{d}}y}}$ , ${I_t}=\frac{{\partial E}}{{{\rm{d}}t}}$ , 因此图像中象素灰度沿x,y,t方向的梯度则由 ${I_x}$ ${I_y}$ ${I_t}$ 表示. 可将上式改写成

 ${I_x}\frac{{{\rm{d}}x}}{{{\rm{d}}t}} + {I_y}\frac{{{\rm{d}}y}}{{{\rm{d}}t}} + {I_t}=0$ (6)

2 实验

 图 4 背景图片及其直方图

2.1 相关参数的选择 2.1.1 dp参数

dp是圆心的累加器图像的分辨率与输入图像之比的倒数, 此参数允许创建比输入图像分辨率低的累加器. dp累加器与输入图像分辨率成反比关系dp=1, 累加器和输入图像分辨率相等, 当dp=2累加器分辨率仅为输入图像的一半高度和宽度. 在板球系统中测试区间为[1,4]的dp值对小球捕捉的影响, 测试结果如图5所示.

 图 5 dp值与准确率关系

 图 6 dp值引起的误差

2.1.2 param2参数

param2表示检测阶段圆心累加器的阈值. 阈值越小, 则检测到更多根本不存在的圆, 反之越大, 通过检测的圆更为接近标准的圆. 在板球系统中测试区间为[80,200] 的param2值对小球捕捉的影响, 测试结果如图7所示.

 图 7 param2值与准确率关系

 图 8 param2值引起的误差

2.1.3 maxLevel参数

 图 9 金字塔层数与准确率关系

2.2 不同背景下的小球捕捉的速度

 图 10 上述三种方法在不同的背景下追踪小球

3 结果与讨论

LK法中增加金字塔迭代层数对于小球捕捉准确率几乎没有影响, 主要因为在板球系统中小球的运动速度不高, 视频尺寸不大, 图像没有出现不连贯的情况, 发挥不出金字塔迭代的优势.

 $R(x,y) = \sum\limits_{x',y'} {(T(x',y') - I(x + x',y + y'))}$ (7)

LK光流法主要是通过角点进行追踪, 角点主要提取的是灰度梯度较大的地方, 而这些地方通常存在于物体的边界. 同时角点的数量可通过精度的设置来改变, 只需要对角点及其邻域的像素进行计算, 与反向直方图相比像素点计算数量大幅度减少, 所以速度提升非常快.

4 结束语

(1) 使用LK法追踪小球相较反向直方图投影法大幅度提高了运行速度, 但无法捕捉球心坐标.

(2) 通过将霍夫圆变换引入LK法得到改进的光流法, 对小球进行追踪, 小球球心点不会丢失, 追踪准确.

 [1] 韩洁. 基于果蝇优化算法的视觉板球系统控制研究[硕士学位论文]. 重庆: 西南大学, 2017. [2] 李晓飞. 高速在线机器视觉检测方法的研究[硕士学位论文]. 天津: 天津理工大学, 2008. [3] Grabe V, Bülthoff HH, Giordano PR. A comparison of scale estimation schemes for a quadrotor UAV based on optical flow and IMU measurements. IEEE/RSJ International Conference on Intelligent Robots and Systems. Tokyo, Japan. 2013. 5193–5200. [4] 张辰, 赵红颖, 钱旭. 直方图反向投影多目标检测优化算法. 计算机系统应用, 2014, 23(2): 178-182. DOI:10.3969/j.issn.1003-3254.2014.02.032 [5] 王思远, 姚志均. 一种快速稳定的对比度跟踪方法. 舰船电子对抗, 2017, 40(5): 81-83, 108. [6] 许文韬. 纹理图像特征提取与分类研究[博士学位论文]. 上海: 华东师范大学, 2017. [7] Horn BKP, Schunck BG. Determining optical flow. Artificial Intelligence, 1981, 17(1–3): 185-203. DOI:10.1016/0004-3702(81)90024-2 [8] Barron J L, Fleet D J, Beauchemin S S, et al. Performance of optical flow techniques. Proceedings 1992 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Champaign, IL, USA. 1992. 236–242. [9] 屈治华, 邵毅明, 邓天民. 基于特征光流的多运动目标检测跟踪算法与评价. 科学技术与工程, 2018, 18(22): 97-104. DOI:10.3969/j.issn.1671-1815.2018.22.014 [10] Lucas BD, Kanade T. An iterative image registration technique with an application to stereo vision. Proceedings of the 7th International Joint Conference on Artificial Intelligence. San Francisco, CA, USA. 1981. 674–679. [11] 毛庆洲, 潘志敏, 高文武. 利用迭代霍夫圆变换实现成捆棒材可靠计数. 武汉大学学报·信息科学版, 2014, 39(3): 373-378. [12] Sharmin N, Brad R. Optimal filter estimation for Lucas-Kanade optical flow. Sensors, 2012, 12(9): 12694-12709. DOI:10.3390/s120912694