2020, Vol. 29
随着人们日常消费意识和健康意识的提高, 肉类的需求量在逐年增加, 尤其是猪肉的需求量大幅上升. 猪养殖产业规模增大, 生猪出现病患的可能性也随之增加, 若未及时干预或排除这些隐患, 可能会造成严重的经济损失和人力损失. 生猪在生长过程中可能出现的众多疾病在亚临床和临床症状表现之前, 通常伴随自身行为的改变, 同时导致各种外在生理参数发生变化, 如会出现日常活动量和进食量大量减少, 粪便干燥, 尿液浑浊等现象. 监测生猪行为活动和生理表现可以及时发现生猪病变情况, 提早发现威胁生猪健康的因素, 有利于防止烈性传染病在猪群内的传播.
人工监测是传统的猪养殖监测方法, 也是目前猪养殖产业的主要监测方法. 但人工监测受主观因素影响大, 需要具备猪养殖经验的从业人员监督分析, 人力成本较高, 而且人工监测方法无法实现对生猪行为活动和生长状态的实时监测. 在大型商业猪养殖模式中使用人工监测方法监测分析猪个体和群体行为活动规律是不切实际的, 因此, 近些年来, 养殖信息化相关装备和技术迅速发展, 并得到了越来越多人的关注. 比如应用于猪个体识别的无线射频标签[1]、应用于检测猪个体运动加速度的加速度计量器[2]、应用于检测猪是否存在跛脚行为的压力垫[3]和应用于检测猪群体饮用水量的水量传感器[4]等, 但这些信息化技术都存在一个限制条件, 即需要使用附着在猪个体身上的传感器获取数据. 现有的猪养殖产业中, 猪的生长场景决定了这些接触式监测方法的局限性, 猪个体之间或猪与生长环境中物体的相互摩擦和以及猪的移动均易导致接触式传感器遗失.
机器视觉在20世纪70年代末开始应用于农业和畜牧业领域[5], 但由于图片和视频采集装置中的软硬件技术水平较低、计算机处理图像速度较慢和缺乏有效的目标行为分析算法等, 机器视觉技术在农业和畜牧业中未得到广泛应用. 随着相应技术的发展, 这些问题逐渐都得到了解决, 如段玉瑶等人在2015年结合生猪体态特征提出了一种优化特征提取的压缩感知跟踪算法[6]. 该方法利用改进后的椭圆窗口来优化跟踪, 并增大了灰度特征的权重提高特征提取的准确度, 实现有效跟踪. 孙龙清等人在2017年提出了利用人工交互分水岭进行区域分块, 结合改进的GraphCut算法进行图像前景和背景的分割, 有效分割生猪图像[7].
目前, 猪养殖产业发展趋于集约化、自动化和信息化, 智能监控是现代化集群式养殖模式不可缺少的一部分[8].
在此背景下, 本文提出了一种基于机器视觉技术的猪行为活动的实时无接触监测系统, 利用CCD (Charge-Coupled-Device)相机实时录取猪生长场景的视频, 系统分析视频文件, 识别视频中猪目标个体及场景相关信息, 分析猪目标个体的行为活动(如运动行为、伏地行为、呼吸行为、饮食行为和排泄行为等), 监测猪目标个体的运动量、饮食量和排泄情况, 从而实时监测猪的健康情况和生长情况.
1 猪目标行为图像的获取与分类利用CCD相机实时拍摄猪舍中猪的行为活动, 相机录制帧率为60 f/s. Lind等人[9]在猪目标识别算法研究中, 将视频分帧截取图像后, 每间隔10帧更新一次, 可以减弱猪运动缓慢对精准识别的影响[10], 本文采用相同的更新速度. 使用卷积神经网络自适应提取图像中猪行为相关特征, 可以适配不同的光照强度, 抑制光照变化对结果的影响.
为训练出具备良好适应性和识别精度的自适应深度学习网络, 本文录制并标记了含1200组猪行为活动的视频序列. 本文使用的数据均为白天录制采集的视频图像数据, 包含晴天、阴天和雾雨等多种天气和光照场景. 在视频录制过程中, 每隔5 s生成一个帧图像序列组, 序列组中包含5 s内截取的30帧图像.
本文监测识别猪的6种行为活动, 分别为运动行为、跛足行为、伏地行为、呼吸行为、饮食行为和排泄行为. 针对6种行为活动, 本文对每一组图像序列都做标记, 标记为运动行为、跛足行为、伏地行为、呼吸行为、攀爬行为、饮食行为和排泄行为之一. 有3位专业人员参与标记, 当且仅当3位专业人员对某组序列的标记相同时, 该标记才被使用.
2 猪行为活动实时无接触监测系统系统通过分析拍摄的猪视频, 识别视频中猪目标个体和场景中相关信息, 分析猪目标个体的行为活动(如运动行为、跛足行为、伏地行为、呼吸行为、和饮食行为和排泄行为等), 监测猪目标个体的运动量、饮食量和排泄情况.
2.1 CCD相机系统自1998年光学成像系统首次应用于监测猪行为活动后, 众多研究者开始关注机器视觉技术在猪养殖领域的应用[11-15], 可见光相机和深度相机是获取猪行为图像的主要工具, 常用拍摄角度有俯视视角和侧视视角. 俯视视角能获取猪相对于猪生长场景的位置变化, 能避免猪之间的遮挡和距离相机远近导致猪大小和位移测量不准等问题. 侧视视角存在遮挡和距离失真问题, 但能观察到更多猪的行为细节.
本文利用CCD相机分别获取俯视视角和侧视视角的图像, 帧率为60 f/s. 利用深度学习算法、信息融合技术, 融合俯视视角和侧视视角序列图像中深度特征, 自动识别猪目标的行为活动类型, 监测猪的生长状况和生理信息.
2.2 猪行为识别方法本文采用多层卷积神经网络(Conventional Neural Network, CNN)结构, 可以自适应提取图像中猪目标的行为相关特征. 相对于传统的阈值分割法、色彩分割法和角点检测等人工设计的特征检索方法, 卷积神经网络训练简单, 适应性强, 更适合处理分析自然场景下猪的行为活动. 本文使用卷积神经网络提取序列图片的行为特征, 对序列中行为特征进行特征融合, 融合后的特征由全连接层部分识别分类, 最终识别出序列中猪的行为活动. 网络结构如图1, 主要包含3部分: 卷积部分、特征融合部分和行为分类部分. 系统通过CCD相机采集猪行为活动序列图像, 利用卷积神经网络提取图像的深度特征, 再使用特征融合方法融合行为序列图像的深度特征最后根据融合的深度特征识别图像序列中猪的行为活动.
|
图 1 基于机器视觉技术的猪行为活动无接触识别系统数据处理结构图 |
图1中卷积部分提取原始图像的深度特征, 通过反向传播更新参数, 同时提取局部纹理特征和整体形态特征. 在本文实验中, 为实现每个图像序列的行为活动分类, 需要提取俯视相机和侧视相机采集到的两个图像序列的深度特征. 俯视图像序列和侧视图像序列, 各包含30张图片(Xi, i=1, 2,···,30), 先后依次送入卷积部分提取特征(Fi, i=1,2,···,30).
| ${F_i} = f({X_i}\left| w \right.,b)$ | (1) |
其中, w, b分别表示卷积部分的网络权重参数和阈值参数, f为卷积操作, 使用ReLU激活函数. 为减少网络参数, 提取同一批次的图像序列的特征时, 卷积部分的权重和阈值参数共享使用.
输入的每张图像大小为128×128×3, 由于深度学习的卷积计算是对四维向量作卷积, 把输入图片扩展为N×128×128×3, 其中N表示批处理大小. 输入第一层卷积神经网络, 卷积核大小为11×11×3×96, 步长为2, 输出向量大小为N×64×64×96, 输出向量的通道数与卷积核的个数一致, 输出特征图长宽为原图像的一半, 不使用池化过程, 可以减小网络结构, 减少计算量, 促进系统实时监测. 第二层卷积神经网络的卷积核大小为3×3×96×256, 步长为2, 输出向量大小为N×32×32×256. 第三层卷积神经网络的卷积核大小为3×3×256×256, 步长为2, 输出向量大小为N×16×16×256. 第四层卷积神经网络的卷积核大小为3×3×256×256, 步长为2, 输出向量大小为N×8×8×256. 第五层卷积神经网络的卷积核大小为3×3×256×128, 步长为2, 输出向量大小为N×4×4×128.
第二部分为特征融合部分, 融合卷积部分提取到的俯视图像序列和侧视图像序列的深度特征. 每张图片提取到的特征大小均为N×4×4×128, 包含128个用于后续行为分类的特征. 采用相同的卷积网络结构提取到的特征大小一致, 可以融合扩展为一个包含全部序列特征的特征:
| $ F = \left( {{F_{\rm{1}}},{F_2},\cdots,{F_{30}}} \right) $ | (2) |
将第五层卷积神经网络输出的特征向量融合, 大小为N×4×4×7680.
第三部分为行为分类部分, 由全连接神经网络实现, 将融合后的特征向量(F)展开后送入全连接层提取高维深度特征信息(F'), 使用Softmax分类, 识别行为活动:
| $F' = g(F \times w' + b')$ | (3) |
| ${Y_{\rm {pre}}} = softmax (F')$ | (4) |
其中, g为全连接部分的激活函数ReLU, w'和b'为全连接部分的权重参数和阈值参数.
使用交叉熵损失函数约束反向传播过程:
| $Loss = L({Y_{\rm pre}},{Y_{\rm label}})$ | (5) |
使用Tensorflow平台编写识别猪行为活动的卷积神经网络算法, 硬件环境为内存16 GB, Intel(R)I5-1607, RTX2080 Ti GPU.
3 结果与分析为评估本文提出的基于机器视觉的猪行为活动的实时无接触监测系统的性能核准确率, 本文使用标定的数据集, 采用五折法训练测试结果, 给出识别各类行为的准确率. 五折法是深度学习方法中常用的训练方法, 将原始数据集均等分为5份, 每份所含行为活动种类核数量应大致相当. 每次选择其中4份用于训练, 剩余一份用于测试, 下一次选择不完全同的4份训练, 剩余一份测试, 5次训练核测试后求测试准确率的平均值. 首先本文分别使用俯视图像序列、侧视图像序列以及俯视图像序列结合侧视图像序列识别猪的行为活动, 结果如表1.
|
表 1 猪行为活动识别结果(单位: %) |
由表1结果可以得到3个结论: 在识别运动和呼吸行为时, 俯视图像序列能比侧视图像序列提供更多信息, 分类准确率更高; 识别跛足、伏地和排泄行为时, 由于俯视角度无法获得猪上下空间中的行为信息, 分类准确率比使用侧视图像低; 同时使用俯视和侧视图像序列识别猪的行为得到的准确率高于单独使用单一视角的图像序列, 说明利用俯视和侧视视角图像比单一视角能得到更多的行为识别信息, 而且本文提出的识别方法能充分利用融合后的信息, 从而更准确地识别猪的行为.
此外, 本文还复现了其他基于机器视觉的方法, 并使用本文标定的数据集根据五折法测试这些方法的准确率, 和本文提出方法作比较.
由表2可知, 本文在检测识别各行为活动时, 准确率均高于或大致等于现有的检测方法. 说明基于卷积神经网络的机器学习算法, 在检测识别图像序列中猪的行为活动方面具有显著优势, 可适用性更广, 更适合应用于在自然场景下实时监测识别猪的行为活动.
|
|
表 2 猪行为活动识别结果(单位: %) |
4 结论和展望
本文提出了一种基于机器视觉技术的无接触识别猪行为活动的系统, 利用卷积神经网络提取图像的深度特征, 再使用特征融合方法融合行为序列图像的深度特征, 最后根据融合的深度特征识别图像序列中猪的行为活动. 相对于现有基于人工设定特征的行为识别方法, 本文提出的方法能自适应地提取行为特征, 适用范围更广, 对自然场景中猪的行为识别准确率更高. 但是本文只使用了CCD相机采集视频图像信息, 采集信息的方式较为单一, 为了更准确地识别猪行为活动, 可以优化为使用多传感器系统采集不同种类的信息, 比如红外相机、压力传感装置和虹膜采集装置等, 这些问题仍待进一步研究.
| [1] |
Reiners K, Hegger A, Hessel EF, et al. Application of RFID technology using passive HF transponders for the individual identification of weaned piglets at the feed trough. Computers and Electronics in Agriculture, 2009, 68(2): 178-184. DOI:10.1016/j.compag.2009.05.010 |
| [2] |
Ringgenberg N, Bergeron R, Devillers N. Validation of accelerometers to automatically record sow postures and stepping behaviour. Applied Animal Behaviour Science, 2010, 128(1–4): 37-44. DOI:10.1016/j.applanim.2010.09.018 |
| [3] |
Martínez-Avilés M, Fernández-Carrión E, López García-Baones JM, et al. Early detection of infection in pigs through an online monitoring system. Transboundary and Emerging Diseases, 2017, 64(2): 364-373. DOI:10.1111/tbed.12372 |
| [4] |
Madsen TN, Kristensen AR. A model for monitoring the condition of young pigs by their drinking behaviour. Computers and Electronics in Agriculture, 2005, 48(2): 138-154. DOI:10.1016/j.compag.2005.02.014 |
| [5] |
张五一, 赵强松, 王东云. 机器视觉的现状及发展趋势. 中原工学院学报, 2008, 19(1): 9-12, 15. DOI:10.3969/j.issn.1671-6906.2008.01.003 |
| [6] |
段玉瑶, 马丽, 刘刚. 猪舍场景下的生猪目标跟踪和行为检测方法研究. 农业机械学报, 2015, 46(S1): 187-193. DOI:10.6041/j.issn.1000-1298.2015.S0.031 |
| [7] |
孙龙清, 李玥, 邹远炳, 等. 基于改进Graph Cut算法的生猪图像分割方法. 农业工程学报, 2017, 33(16): 196-202. DOI:10.11975/j.issn.1002-6819.2017.16.026 |
| [8] |
钱蓉, 詹凯, 王重龙. 基于机器视觉技术的动物行为自动识别和分类. 中国家禽, 2016, 38(3): 55-57. |
| [9] |
Lind NM, Vinther M, Hemmingsen RP, et al. Validation of a digital video tracking system for recording pig locomotor behaviour. Journal of Neuroscience Methods, 2005, 143(2): 123-132. DOI:10.1016/j.jneumeth.2004.09.019 |
| [10] |
Nasirahmadi A, Hensel O, Edwards SA, et al. A new approach for categorizing pig lying behaviour based on a Delaunay triangulation method. Animal, 2017, 11(1): 131-139. DOI:10.1017/S1751731116001208 |
| [11] |
Shao B, Xin HW. A real-time computer vision assessment and control of thermal comfort for group-housed pigs. Computers and Electronics in Agriculture, 2008, 62(1): 15-21. DOI:10.1016/j.compag.2007.09.006 |
| [12] |
Kashiha M, Bahr C, Haredasht SA, et al. The automatic monitoring of pigs water use by cameras. Computers and Electronics in Agriculture, 2013, 90: 164-169. DOI:10.1016/j.compag.2012.09.015 |
| [13] |
浦雪峰, 朱伟兴, 陆晨芳. 基于对称像素块识别的病猪行为监测系统. 计算机工程, 2009, 35(21): 250-252. DOI:10.3969/j.issn.1000-3428.2009.21.084 |
| [14] |
吴琼. 基于机器视觉的生猪行为检测跟踪技术研究[硕士学位论文]. 北京: 中国农业大学, 2012.
|
| [15] |
吴燕. 基于星状骨架模型的猪的跛脚识别[硕士学位论文]. 镇江: 江苏大学, 2014.
|
| [16] |
高云, 郁厚安, 雷明刚, 等. 基于头尾定位的群养猪运动轨迹追踪. 农业工程学报, 2017, 33(2): 220-226. DOI:10.11975/j.issn.1002-6819.2017.02.030 |
| [17] |
Stavrakakis S, Li W, Guy JH, et al. Validity of the Microsoft Kinect sensor for assessment of normal walking patterns in pigs. Computers and Electronics in Agriculture, 2015, 117: 1-7. DOI:10.1016/j.compag.2015.07.003 |
| [18] |
谢海员, 纪滨, 胡宏智, 等. 基于曲率特征猪腹式呼吸运动波形图建模方法. 苏州科技学院学报(自然科学版), 2016, 33(3): 66-70. |
| [19] |
谢徵. 基于决策树支持向量机的猪只姿态分类与异常行为分析[硕士学位论文]. 太原: 太原理工大学, 2015.
|
| [20] |
李文心. 基于视觉的目标跟踪控制系统研究[硕士学位论文]. 西安: 西安理工大学, 2019.
|