计算机系统应用  2022, Vol. 31 Issue (5): 30-39   PDF    
大豆叶片图像的叶脉分割方法
赵丹丹1, 王斌1,2     
1. 南京财经大学 信息工程学院, 南京 210023;
2. 智能机器人湖北省重点实验室(武汉工程大学), 武汉 430205
摘要:叶脉分割是叶片模式分析的一个重要步骤, 对大豆的品种识别、表型研究具有十分重要的意义. 由于大豆叶脉结构十分复杂, 叶脉所在叶片区域的低对比度, 只借助灰度信息分割叶脉一般无法取得理想的分割效果. 本文提出了一种结合多尺度灰度无约束击中或击不中变换 (UHMT) 算法和基于HSI颜色空间的色调信息处理方法的大豆叶脉分割方法. 该方法将RGB颜色空间中的灰度信息和HSI颜色空间中的色调信息, 分别用于大豆叶片图像的全局叶脉分割和局部一级、二级叶脉分割. 前者采用迭代阈值分割提取叶片区域, 通过膨胀腐蚀消除叶片外轮廓以及叶柄等干扰因素, 得到叶片区域图像, 然后, 运用多尺度灰度UHMT算法得到全局叶脉图像. 后者, 针对一级和二级叶脉分割效果差的问题, 使用色调信息扩大叶脉与其他像素点灰度值差异, 以实现局部一级、二级叶脉的分割. 将获得的全局叶脉和局部叶脉图像融合, 获得最终的大豆叶脉图像. 为验证算法的有效性, 本文使用了大豆品种叶片图像数据库SoyCultivar中的大豆叶片图像进行实验. 结果表明, 该方法比现有的叶脉分割方法好, 不仅能够完整地提取大豆叶脉, 而且能够很好地消除背景以及叶片外轮廓、叶柄等无关成分.
关键词: 大豆叶脉分割    图像处理技术    多尺度灰度UHMT算法    HSI颜色空间的色调信息    灰度图像    图像分割    
Leaf Vein Segmentation Method of Soybean Leaf Images
ZHAO Dan-Dan1, WANG Bin1,2     
1. College of Information Engineering, Nanjing University of Finance and Economics, Nanjing 210023, China;
2. Hubei Key Laboratory of Intelligent Robot (Wuhan Institute of Technology), Wuhan 430205, China
Abstract: Leaf vein segmentation is an important step in leaf pattern analysis, which is of great significance for soybean variety identification and phenotype research. On account of the complicated vein structure of soybean leaves and the low contrast of the leaf area where the veins are located, it is generally impossible to achieve ideal leaf vein segmentation results only using gray information. This study presents a soybean vein segmentation method combining the multi-scale gray unconstrained hit-or-miss transform (UHMT) algorithm and the processing method based on the hue data of HSI color space. In this method, the gray information in RGB color space and the hue data in HSI color space are used to segment the global leaf veins and local primary and secondary veins from soybean leaf images, respectively. The former uses iterative threshold segmentation to extract the leaf area and eliminates interference factors such as the outer contour and the petiole through expansion and corrosion to obtain the leaf area image. Then, the multi-scale gray UHMT algorithm is employed to obtain the global leaf vein image. Considering the poor performance of primary and secondary vein segmentation, we use hue data to enlarge the discrepancies in gray values between veins pixels and other pixels to realize the segmentation of local primary and secondary veins. The obtained global and local vein images are fused into the final soybean leaf vein image. Moreover, this study utilizes soybean leaf images in the soybean leaf image database, SoyCultivar, to verify the effectiveness of the algorithm. The results indicate that this algorithm is better than existing leaf vein segmentation methods as it can not only extract soybean leaf veins completely but also well eliminate the background, leaf contours, petioles, and other irrelevant components.
Key words: leaf vein segmentation     image processing     multi-scale gray UHMT algorithm     hue data in HSI color space     gray image     image segmentation    

大豆, 是一种豆科植物, 富含对人类和动物有益的植物蛋白质和脂肪[1]. 中国拥有5 000多年栽植优质大豆的文化和历史, 是世界上最早培育大豆的国家. 许多其他国家的培育大豆都由中国传入, 如巴西、印度、美国等. 由于生产的大豆对人类健康有用且易于食用, 已发展成为目前世界上消费最广泛的粮食之一[2]. 近些年, 自然环境的恶化以及全球人口基数增长共同引发了全球粮食危机, 即全球性的粮食短缺、产量锐减、价格涨幅过快, 全球饥饿人口和正在遭受粮食安全威胁的人口约占世界总人口的一半, 因此, 研究大豆育种、生长、发育和产量以提高大豆品质和产量这项任务具有十分重要的意义.

学术界和现代农业领域不乏对大豆的研究, 例如裴文彤[3]使用虚拟植物仿真技术实现了大豆叶片仿真建模, 在构建叶片轮廓的基础上, 通过观察叶脉的主侧脉之间的角度、形态和走向来实现模拟叶脉, 运用拉普拉斯算法对叶面区域进行弯曲操作, 使得大豆叶面模型达到了曲面弯曲效果, 并证明了实验得到的大豆叶片模型对于大豆的研究具有一定的价值. Wang等人[4]首次尝试将来自大豆植株不同部位的叶片图像特征描述子进行联合用于识别大豆品种, 使用多尺度滑动弦来测量叶片图像的外部形状和内部特征, 他们的实验结果证明了大豆叶片中品种信息的可获得性. 这些研究都在不同程度上促进了大豆品种的鉴别、选择和生产, 为提高大豆产量和缓解粮食危机问题提供了理论基础.

图1中, 我们列举了5张大豆叶片图像(见图1中的第1行), 它们分别取自不同品种的大豆植株的下部. 通过观察, 我们可以发现同属于同一物种的不同品种的大豆叶片具有高度相似的视觉模式, 很难从叶片图像中提取独特的叶片图像形状特征来用于大豆品种鉴别. 为了提取到可用于大豆品种识别的独特的叶片图像模式, 我们尝试着手工标注了这些叶片图像的叶脉信息(见图1中的第2行), 通过观察这些叶脉图像, 可以直观发现这些叶片图像的叶脉结构分布差异较大, 可以作为大豆品种识别的一个重要线索, 因此研究大豆叶脉模式具有重要意义.

叶脉是指叶肉内的维管组织及其周围的机械组织, 是植物的重要器官之一, 主要功能是输送水和养料, 其在叶片上的分布情况称为脉序[5, 6]. 如图2(a)所示, 这是一张大豆叶片图像. 大豆叶片由叶肉和叶脉组成, 其中叶脉结构较为复杂, 主要包括3部分, 分别是一级叶脉、二级叶脉和细脉[7]. 一级叶脉, 也称主脉, 位于叶片的中心位置, 与叶柄区域相连且具有较宽的脉宽. 二级叶脉, 也称侧脉, 其起点来自于一级叶脉两侧, 脉宽小于一级叶脉. 细脉, 是自二级叶脉开始发出的叶脉, 其叶脉的宽度比二级叶脉的脉宽更小, 结构也更加复杂多变. 许多研究都表明, 叶脉中包含着植物最为关键的各种生理信息和遗传信息, 例如: 通过分析叶脉的位置和角度可以推断叶片的发育形态和叶脉的生长方向[8]; 主脉和侧脉之间的分布情况能够体现整株植物的结构[9]. 因此, 叶脉是识别植物品种和分析植物生长发育状况极具参考价值的指标, 对大豆品种进行叶脉分割有助于科学地研究各个品种大豆植株的结构以及生长情况, 同时对于大豆品种的基因研究和识别有着十分重要的研究价值.

大豆叶脉分割的挑战来自于大豆叶脉结构十分复杂, 叶脉像素宽窄度不相同, 部分叶脉区域的像素点灰度值没有发生激烈变化, 具有非常低的对比度, 直接借助灰度信息分割叶脉几乎不可能达到很好的效果. 同时, 叶片受温度、土壤、水分、养分等生长条件的影响, 会出现受光不均匀、枯黄、缩卷等情况, 这些都会对大豆叶脉分割研究造成很大的挑战.

本文专注于基于图像处理技术大豆叶脉分割问题. 我们提出了组合多尺度灰度无约束击中或击不中变换(unconstrained hit-or-miss transform, UHMT)算法[10]和基于色调饱和度亮度(hue-saturation-intensity, HSI)颜色空间[11]的色调(hue)信息处理方法的叶脉分割方法. 该方法结合红绿蓝(red-green-blue, RGB)颜色空间[12]中的灰度信息和HSI颜色空间中的色调信息, 分别从大豆叶片图像中分割出全局叶脉和局部一级、二级叶脉. 其中, 灰度信息可以实现叶片区域提取, 同时结合多尺度灰度UHMT算法能够很好地分割出全局叶脉, 而HSI颜色空间的色调信息能够扩大一级、二级叶脉和细脉之间的差异, 更加完整地分割一级、二级叶脉. 为研究该方法的有效性, 我们使用了大豆品种叶片图像数据库SoyCultivar[13]中的大豆叶片图像来验证实验. 对实验结果中叶脉图像进行观察与分析, 证明了本方法对大豆叶脉分割的有效性.

图 1 5种不同品种的大豆叶片图像及其人工标注叶脉图像

图 2 大豆叶片图像的叶脉结构图

1 相关工作

近年来, 计算机视觉和图像处理技术高速发展, 叶脉模式分析已经成为了研究的热门课题, 植物叶脉分割方法研究也已有了大量成果. 现将叶脉分割方法分为4类, 分别基于区域、边缘、聚类和神经网络.

基于区域的分割方法根据图像的颜色、纹理、像素分布规则等特征, 把图像中的像素点划归到不同的区域中[14]. 针对传统的阈值分割方法无法区分多类别的目标图像的问题, 吴志辉[15]提出一种最大类间方差法和最大熵法结合的方法, 基本上能够有效地将叶脉从包含背景和叶肉的图像中分割出来, 但仍有部分叶肉像素点没有被正确分割. 金秋春等人[16]采用高斯梯度法计算出水平和垂直两个方向的梯度, 设计8个不同方向的顶帽变换算子进行变换, 主叶脉和侧叶脉提取完整清晰. Larese等人[17]和Grinblat等人[18]使用UHMT方法对叶脉模式进行分割.

基于边缘的分割方法的分割原理是: 在一张图片中, 属于不同类别的区域的边界位置像素点的灰度值差异较大[19]. 使用这一类方法, 可以检测出图像中各个区域的边缘, 从视觉效果分析大体满足了图像的分割要求. 田甜等人[20]结合植物叶脉特有的形状和组成结构, 对原始4个方向的索贝尔算子进行了改进, 构造出了8个方向的索贝尔算子, 用于植物叶脉的分割, 大体上能够提取出清晰的叶脉, 但部分非常细小的叶脉未被提取出来. 朱鹏[21]选择Canny算子进行边缘检测操作, 初步提取出叶脉, 同时对hue信息进行分割, 在此基础上, 利用形态学方法和小波变换对分割结果进行处理、整合, 从而实现叶脉分割. 任克强等人[22]试图将模糊增强方法运用到了边缘检测算法中, 并对Canny算子进行了改进, 共同实现叶脉分割, 该方法虽然可以完整地分割出叶脉边缘, 但对边界模糊性的敏感度不够. 汪涛等人[8]利用霍夫变换技术寻找一级叶脉的位置, 并确定和区分叶片两端的端点位置, 然后进行角点检测来搜寻一级叶脉和二级叶脉的交点, 从交点出发确定二级叶脉的位置, 这种方法能够很好地提取出一级叶脉和二级叶脉, 同时一级和二级叶脉夹角测量结果较为准确. 张立红等人[23]利用霍夫变换检测植物叶脉图像并且消除图像噪声, 其效果好于普通的微分检测算子的效果, 边缘线更加平滑, 噪声更少. 由于叶脉结构十分复杂, 仅处理叶片的亮度信息实现叶脉分割效果很差, 马全军等人[24]采用方向能量模型来实现边缘检测, 从不同方向计算像素点的方向能量, 通过计算结果对比选定最佳的方向和大小, 从而能够更加高效且准确地进行叶脉边缘分割. 实验结果证明了这种方法对普通叶片和包含阴影区域的叶片都能起到很好的分割作用, 一级和二级叶脉信息分割完整.

基于聚类的分割方法通过计算图像中各个像素点之间的相似程度, 把相似程度高的像素点划分为一类, 以期在最短的时间内分出尽可能少的类, 同时保证同类差异小、不同类差异大. 李灿灿等人[25]提出一种基于K均值聚类的叶脉分割算法, 依据HSI颜色空间中的I信息区分叶片图像受光是否均匀, 将图像分为两类, 分别对这两类有差异地进行聚类处理, 这种方法能够显著降低叶脉分割的错分率, 但不能处理叶脉比叶肉亮度大的叶片图像. 宣旭峰等人[26, 27]考虑了叶片受光是否均匀以及叶片是否枯黄, 将叶片分为4个类别, 在HSV颜色空间信息与直方图信息基础上, 使用快速模糊C均值聚类算法用于区分这4种类别并进行叶脉分割. 徐艳蕾等人[28]、李永亮等人[29]、杨泽静等人[30]均将模糊逻辑运用到叶脉分割方法中, 分别与形态学相结合, 用来克服自然环境中噪声的影响, 提高了叶脉检测效果. 其中文献[30]第一步使用了大津法来获得叶片区域, 然后使用Canny算子进行叶脉边缘检测, 得到较为粗糙的叶脉, 为了提取更加准确的叶脉, 运用了模糊聚类方法对已得到的叶脉像素点分类, 提取出更加精细、准确的叶脉信息. 模糊聚类方法很好地降低了光照差异对提取结果的影响.

基于神经网络的分割方法, 是一种借助已有的图形特征, 不断进行学习和自我优化的方法, 能够自主提炼出很多图像中的有效信息. 赵卓英等人[31]运用细胞神经网络进行叶脉分割, 通过合理地对神经网络参数进行设计, 最终网络分割出的叶脉信息较为理想, 但需花费大量的时间. Li等人[32]将主动轮廓技术运用到细胞神经网络上, 实现了更加灵活、准确地提取叶脉结构. Fu等人[33, 34]做出了使用人工神经网络训练模型进行叶脉分割的尝试, 网络模型选用包括灰度值在内的10个参数作为输入层. 随着深度学习研究的不断深入, 基于语义的图像分割技术同样也可以用于叶脉分割工作. Xu等人[35]人工标注叶脉信息, 得到叶脉标签图, 并在原图和标签图上圈出感兴趣的区域, 构造出两个数据集, 分别传入U-Net网络进行训练, 优化模型参数, 并对叶片图像进行预测, 与人工标注的标签图进行定量比较, 得到模型的性能评价结果.

这些方法虽然各有千秋, 但将这些方法运用到大豆品种叶片图像的叶脉分割研究时, 效果并不理想. 到目前为止, 专注于大豆品种的叶脉分割研究还没有发现, 因此, 本文聚焦不同品种的大豆叶片图像, 利用RGB颜色空间中的灰度信息和HSI颜色空间中的色调信息, 提出多尺度灰度UHMT算法和基于HSI颜色空间的色调信息处理方法, 分别用于从大豆叶片图像中分割出全局叶脉和局部一级、二级叶脉. 基于灰度信息, 首先采用迭代阈值分割方法分割叶片, 通过膨胀腐蚀消除叶片外轮廓以及叶柄等干扰因素, 得到叶片区域图像. 并利用多尺度灰度UHMT算法分割出全局叶脉图像. 基于色调信息, 使用图像对比度增强方法扩大叶脉与其他像素点灰度值差异, 以分割局部一级、二级叶脉. 该方法不仅能完整、清晰地分割出大豆叶脉, 而且消除了背景、叶片外轮廓和叶柄等干扰因素, 通过实验可证明该方法对大豆叶脉分割的有效性.

2 叶脉分割方法

本文的叶脉分割流程图如图3所示, 包含4个部分, 分别是叶片图像的预处理、多尺度灰度UHMT算法分割全局叶脉、基于HSI颜色空间的色调信息分割局部一级、二级叶脉以及全局叶脉图像与局部一级、二级叶脉图像的融合. 实现细节将在后面逐一说明.

图 3 叶脉分割流程图

2.1 叶片图像的预处理

叶片图像的预处理包括提取叶片区域、消除背景、去掉叶片外轮廓和叶柄等操作, 下面介绍具体的技术细节.

大豆叶片图像中往往包含背景区域, 背景中常混杂着一些干扰信息和噪声点, 影响大豆叶脉分割结果. 因而, 有必要将叶片区域和非叶片区域分开, 提取叶片区域.

具体算法步骤如下:

(1) 利用式(1)将叶片彩色图像rgb转化为灰度图gray, 用于去除图像中的所有颜色信息.

$ gray = 0.299 \times r + 0.587 \times g + 0.114 \times b $ (1)

(2) 使用迭代阈值分割算法初步分割叶片区域, 得到二值图像bI. 具体实现为:

1) 初始阈值 $ {T_0} $ 设为灰度图gray的平均值;

2) $ {T_0} $ 将图像分割成两个部分, 分别是阈值大于 $ {T_0} $ 的集合R1和阈值小于 $ {T_0} $ 的集合R2;

3) 分别计算集合R1和集合R2中所有像素点的平均值, 记为 $ {T_1} $ $ {T_2} $ ;

4) 利用式(2)计算新的阈值 $ T $ 替代 $ {T_0} $ ;

$ T = \frac{{{T_1} + {T_2}}}{2} $ (2)

5) 重复第2)–4)步, 直到满足条件 $ \left| {T - {T_0}} \right| \lt 0.5 $ .

(3) 利用形态学中的填充孔洞算法, 删除叶片区域内多余的噪声点.

(4) 去除背景区域的干扰信息, 仅保留叶片区域图像中最大连通分量.

(5) 利用形态学膨胀腐蚀操作, 去除叶柄和叶片外轮廓, 得到去除叶片外轮廓和叶柄的叶片区域图像.

2.2 多尺度灰度UHMT算法分割全局叶脉

UHMT[10]是图像形态学变换中的一种, 可用于灰度图像. 它采用复合算子B, 提取与前景和背景区域匹配的所有像素点. 复合算子B由特定的前景配置算子 $ {B_f} $ 和背景配置算子 $ {B_b} $ 组成.

UHMT的数学定义如下:

$ UHM{T_B}\left( {gray} \right) = \max \left\{ {{E_{{B_f}}}\left( {gray} \right) - {E_{{B_b}}}\left( {gray} \right), 0} \right\} $ (3)

其中, $ {E_{{B_f}}}\left( {gray} \right) $ $ {E_{{B_b}}}\left( {gray} \right) $ 分别是灰度腐蚀操作和灰度膨胀操作, 式(4)和式(5)分别给出了它们的数学定义:

$ {E_{{B_f}}}\left( {gray} \right) = \min \left\{ {gray\left( {x, y} \right)} \right\}, \left( {x, y} \right) \in {B_f} $ (4)
$ {E_{{B_b}}}\left( {gray} \right) = \max \left\{ {gray\left( {x, y} \right)} \right\}, \left( {x, y} \right) \in {B_b} $ (5)

考虑到灰度UHMT算法的主要原理是计算区域内的像素灰度值的最大最小值的差值, 复合算子设计不同会造成算法结果不同. 为尽可能地降低复合算子的设计对实验结果的影响, 本文将灰度图像的大小缩放到原图的100%、90%、80%、70%、60%. 使用UHMT方法分别处理这5个尺度的灰度图像, 将得到的灰度叶脉图恢复至原图大小并取每个像素点对应的5个不同叶脉图的5个值中的最大值, 得到组合后的灰度叶脉图像. 根据大豆叶片的叶脉像素点分布特点, 设计了4个复合算子 $ B1 $ $ B2 $ $ B3 $ $ B4 $ , 分别代表倾斜角为0°、45°、90°、135°的方向. 每个复合算子 $Bi $ $ \left( {i = 1,\; 2,\; 3, \;4} \right)$ 都包含一个前景算子 $ B{i_f} $ 和一个背景算子 $ B{i_b} $ , 如图4所示. 在 $ {B_f} $ 中, 1代表叶脉区域, 0代表非叶脉区域; 在 $ {B_b} $ 中, 1代表非叶脉区域, 0代表叶脉区域. 每个复合算子的中心位置为前景算子 $ {B_f} $ 中标为1的阴影部分位置.

图 4 UHMT算法的复合算子

使用自适应直方图均衡化方法, 对组合后的灰度叶脉图像进行对比度增强. 同时, 使用自适应阈值算法, 将灰度叶脉图像转化为二值叶脉图像, 并删除像素点个数小于5的连通分量. 通过上述一系列操作, 最终得到一个全局叶脉图像BI1.

2.3 基于HSI颜色空间的色调信息分割局部一级、二级叶脉

HSI颜色空间由3个分量组成, 它们分别是色调H (hue)、饱和度S (saturation)和强度I (intensity), 其中色调表示颜色的类别, 饱和度表示颜色的鲜艳程度, 强度表示光亮程度[36]. HSI颜色空间的表示方式最贴合人类的视觉系统认知颜色的方式, 其中色调信息是人类能够感知和区分颜色的一个重要信息来源, 能够区分细微的颜色差异, 在分割叶脉一级叶脉和二级叶脉方面能够取得很好的效果[37].

HSI模型各分量与RGB模型各分量的数学关系可以表示为式(6)–式(8)[11]:

$ \left[ {\begin{array}{*{20}{c}} I \\ {{V_1}} \\ {{V_2}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\dfrac{1}{3}}&{\dfrac{1}{3}}&{\dfrac{1}{3}} \\ { - \dfrac{1}{{\sqrt 6 }}}&{ - \dfrac{1}{{\sqrt 6 }}}&{\dfrac{2}{{\sqrt 6 }}} \\ {\dfrac{1}{{\sqrt 6 }}}&{ - \dfrac{1}{{\sqrt 6 }}}&0 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} R \\ G \\ B \end{array}} \right] $ (6)
$ H = \arctan \left\{ {\frac{{{V_2}}}{{{V_1}}}} \right\} $ (7)
$ S = \sqrt {{V_1}^2 + {V_2}^2} $ (8)

通过整理可得, HSI模型各分量由RGB模型分量表示如式(9)–式(11):

$ H = \arctan \left\{ {\frac{{R - G}}{{\left( {B - R} \right) + \left( {B - G} \right)}}} \right\} $ (9)
$ S = \sqrt {\frac{{{{\left( {B - R} \right)}^2} + {{\left( {B - G} \right)}^2}}}{3}} $ (10)
$ I = \frac{{R + G + B}}{3} $ (11)

将自适应阈值分割用于对H分量信息进行分割, 分割后所得到的图像是二值图像, 该图像中包含一级叶脉、二级叶脉和少量细脉. 对二值图像中的叶脉像素点有选择的保留, 具体步骤为: 任选位置为 $ \left( {x, y} \right) $ 的像素点为中心, 锁定 $ 7 \times 7 $ 大小的邻域区域, 对该邻域范围内所有值为1的像素点进行计数, 并将其个数记为num. 设置临界值为30, 若统计得到的个数num大于30, 则该位置 $ \left( {x, y} \right) $ 处的像素点赋值为1, 反之, 赋值为0. 这样可以有效消除细脉干扰, 得到局部一级、二级叶脉图像BI2.

2.4 全局叶脉图像与局部一级、二级叶脉图像的融合

将第2.2节中得到的全局叶脉图像BI1和第2.3节中得到的局部一级、二级叶脉图像BI2进行融合, 得到最终完整的大豆叶脉图像BI. 由于全局叶脉图像BI1和局部一级、二级叶脉图像BI2均为二值图像, 且每个像素点的取值均为0或1, 所以图像融合的方法可采用两张图像对应像素点取并集, 对应的数学公式如下:

$ BI\left( {x, y} \right) = B{I_1}\left( {x, y} \right) \cup B{I_2}\left( {x, y} \right) $ (12)

其中, $ B{I_1}\left( {x, y} \right) $ $ B{I_2}\left( {x, y} \right) $ 分别表示全局叶脉图像BI1和局部一级、二级叶脉图像BI2中位置坐标为 $ \left( {x, y} \right) $ 的像素点的值, $ BI\left( {x, y} \right) $ 表示最终的大豆叶脉图像BI中位置坐标为 $ \left( {x, y} \right) $ 的像素点的值.

3 实验结果对比与分析

本文使用大豆品种叶片图像数据库SoyCultivar[13]中的大豆叶片图像来进行实验, 验证本方法的实验结果. 该数据库共有1 200个样本, 分别采集自中国大豆主产区吉林省长春市的200个品种的大豆植株, 每个品种随机采集不同植物的上部、中部和下部各2片叶子, 然后由分辨率为600DPI、48位真彩色设置的EPSON V850 Pro扫描仪通过反射扫描叶片正面得到.

以编号为imgyd178_R1_4_t的大豆叶片图像为例, 图5展示了本文算法中各个模块的实验结果. 图5(a)是大豆叶片原图, 为彩色图像. 图5(b)是灰度图像, 是由原图进行灰度化操作获得的, 摒弃了叶片颜色信息. 图5(c)是分割的叶片区域图像, 具体操作步骤包括对灰度图进行迭代阈值分割、填充孔洞和保留最大连通分量操作, 可以看到叶片区域分割完整. 图5(d)是去除叶柄和叶片外轮廓后的叶片区域图像, 主要运用了形态学的腐蚀和膨胀操作, 这个操作很好地消除了背景以及叶片外轮廓、叶柄等无关成分. 图5(e)是全局叶脉图像, 是通过多尺度灰度UHMT算法对灰度图像的叶片区域进行处理获得的. 图像中细脉分割清晰, 但部分一级和二级叶脉有缺损. 因此, 需要利用HSI颜色空间中的色调信息获取局部一级、二级叶脉. 图5(f)是利用色调信息分割得到的局部一级、二级叶脉图, 具体操作步骤包括图像对比度增强、自适应阈值分割、设计算子检测主侧脉. 图5(g)为最终大豆叶脉图, 它是由全局叶脉图和局部一级、二级叶脉图进行图像融合得到的. 通过观察, 我们可以发现整张叶片图像提取到的叶脉十分完整, 一级、二级叶脉清晰.

图 5 本文算法实验结果图

将文献[17]、文献[30]与本文方法的实验结果进行比较. 图6为3种算法的实验结果对比图, 一共3组大豆叶片图像. 每行图像从上到下依次表示原图、文献[17]灰度UHMT方法分割结果、文献[30] Canny边缘检测和局部模糊聚类方法分割结果以及本文算法分割结果. 通过观察图6中的3种算法的叶脉分割实验结果图, 我们可以看出, 文献[17]叶脉分割总体效果比较好, 但是一级叶脉几乎都没有分割出来, 并且实验结果包含着叶柄和叶片轮廓信息. 文献[30]叶脉分割效果时好时坏, 受叶片颜色和光照角度影响大, 鲁棒性差, 例如从视觉效果上看第1个大豆叶片图像的分割准确度明显高于第2个和第3个大豆叶片图像的分割结果. 与文献[17]相同, 文献[30]使用的叶脉分割算法, 其实验结果图也存在主侧脉不清晰、叶柄及叶片外轮廓去除不干净、叶肉噪声点多的问题.

由于本次实验采用的大豆数据集均为高分辨率叶片图像, 因此图6中展示的实验结果图只能大致观察出一级和二级叶脉的分割效果, 对于细脉的分割效果很难观察出. 为了更好地观察叶脉分割细节, 我们对3种方法得到的叶脉分割图像截取部分区块, 进行放大对比, 以判断各算法在细脉分割方面的效果. 这里我们将两张大豆叶片图像, 用3种算法分别进行叶脉分割, 再在实验结果图上分别截取两个位置不同、大小为200×200的切片, 并进行放大. 将这些切片的原图和实验结果图进行对比, 对比图如图7所示. 通过观察图7中的一级叶脉、二级叶脉和细脉的分割结果, 我们能够直观感受到本文算法在大豆叶脉分割研究中更胜一筹. 对比文献[17]和本文算法实验结果图, 不难发现本文算法比文献[17]算法提取到的细脉信息更加完整, 文献[17]中细脉存在一定程度的缺失, 连续性不够. 文献[30]的实验结果要明显差于文献[17]和本文算法的实验结果, 主要原因是Canny算子是边缘检测算子, 检测到的是叶脉的边缘, 而不是全部叶脉像素点. 因此造成了噪声像素点非常多, 各级叶脉脉宽过大且中空的问题. 而本文算法的实验结果图中, 整体上叶脉结构信息完整, 主侧脉清晰完整, 细脉的分割结果虽然也存在部分细脉像素点丢失的问题, 但明显比文献[17]和文献[30]的分割效果好.

图 6 本文提出大豆叶脉分割算法与文献[17]、文献[30]提出的叶脉分割效果的对比

综上所述, 本文算法分割出的叶脉结果图中, 各级叶脉均能够清晰、完整地分割出来, 效果优于文献[17]和文献[30]提出的叶脉分割算法. 并且, 实验结果图中叶柄以及叶片外轮廓消除得十分干净, 噪声像素点几乎没有. 因此, 可以得出本文提出的算法适用于大豆品种叶片图像的叶脉分割的结论.

4 结论与展望

本文聚焦于大豆叶脉分割方法, 针对现有的叶脉分割方法普遍存在的叶脉分割不完整、干扰信息多、精确度低的问题, 提出用多尺度灰度UHMT算法和基于HSI颜色空间的色调信息处理方法, 分别分割全局叶脉和局部一级、二级叶脉, 并结合形态学方法消除叶柄、叶片外轮廓和背景的干扰. 实验结果表明, 本文采用的方法能够很好地分割大豆叶片图像的叶脉结构, 叶脉图像清晰、完整, 仅含有较少的无关像素点. 未来, 我们的研究工作将聚焦于细粒度叶脉分割, 以实现叶脉的分级分割, 以及基于叶脉模式的品种识别.

图 7 大豆叶片图像及3种算法实验结果图的局部切块放大比较

参考文献
[1]
曾秀成, 王文明, 罗敏娜, 等. 缺素培养对大豆营养生长和根系形态的影响. 植物营养与肥料学报, 2010, 16(4): 1032-1036. DOI:10.11674/zwyf.2010.0438
[2]
Setiyono TD, Weiss A, Specht JE, et al. Leaf area index simulation in soybean grown under near-optimal conditions. Field Crops Research, 2008, 108(1): 82-92. DOI:10.1016/j.fcr.2008.03.005
[3]
裴文彤. 大豆叶片虚拟建模算法研究[硕士学位论文]. 大庆: 黑龙江八一农垦大学, 2016.
[4]
Wang B, Gao YS, Yuan XH, et al. From species to cultivar: Soybean cultivar recognition using joint leaf image patterns by multiscale sliding chord matching. Biosystems Engineering, 2020, 194: 99-111. DOI:10.1016/j.biosystemseng.2020.03.019
[5]
刘志明. 植物叶片仿生伪装材料研究[博士学位论文]. 长沙: 国防科学技术大学, 2009.
[6]
汪矛, 郑相如, 张志农. 叶脉的形态与结构. 生物学通报, 1998, 33(8): 11-13.
[7]
陆玲, 王蕾. 植物叶脉可视化造型研究. 农业机械学报, 2011, 42(6): 179-183.
[8]
汪涛, 成孝刚, 李德志, 等. 基于霍夫变换与角点检测的叶脉特征提取算法. 计算机技术与发展, 2019, 29(11): 159-162. DOI:10.3969/j.issn.1673-629X.2019.11.032
[9]
常杰, 陈刚, 葛滢. 植物结构的分形特征及模拟. 杭州: 杭州大学出版社, 1995.
[10]
Soille P. Morphological Image Analysis: Principles and Applications. New York: Springer Science & Business Media, 2013.
[11]
Pratt WK. Digital Image Processing: PIKS Inside. 3rd ed. New York: John Wiley and Sons, Inc., 2001.
[12]
汪丹茹. 岩石显微薄片图像自动分类技术研究及实现[硕士学位论文]. 南京: 南京大学, 2016.
[13]
Wang B, Gao YS, Yuan XH, et al. Local R-symmetry co-occurrence: Characterising leaf image patterns for identifying cultivars. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 2020.
[14]
李明. 基于高分辨率遥感影像中舰艇目标的分割与提取技术研究[硕士学位论文]. 长春: 东北师范大学, 2008.
[15]
吴志辉. 植物叶片图像的叶脉分割算法. 现代计算机, 2017(19): 15-19. DOI:10.3969/j.issn.1007-1423.2017.19.004
[16]
金秋春, 郑小东, 童小利. 多方向Top-Hat变换在叶脉特征提取中的应用研究. 计算机工程与应用, 2011, 47(4): 195-197. DOI:10.3778/j.issn.1002-8331.2011.04.054
[17]
Larese MG, Namías R, Craviotto RM, et al. Automatic classification of legumes using leaf vein image features. Pattern Recognition, 2014, 47(1): 158-168. DOI:10.1016/j.patcog.2013.06.012
[18]
Grinblat GL, Uzal LC, Larese MG, et al. Deep learning for plant identification using vein morphological patterns. Computers and Electronics in Agriculture, 2016, 127: 418-424. DOI:10.1016/j.compag.2016.07.003
[19]
张静. 基于OCR的车牌识别系统的研究与实现[硕士学位论文]. 大连: 大连理工大学, 2008.
[20]
田甜, 刘强, 尹仕威, 等. 基于全变分去噪和八方向Sobel算子的叶脉提取算法. 浙江农业学报, 2015, 27(4): 678-683. DOI:10.3969/j.issn.1004-1524.2015.04.28
[21]
朱鹏. 基于Canny算子与色调信息的叶脉提取方法[硕士学位论文]. 武汉: 武汉理工大学, 2016.
[22]
任克强, 张静然. 融合模糊增强与改进Canny的植物叶脉边缘提取. 电子·激光, 2018, 29(11): 1251-1258.
[23]
张立红, 张艳华. 基于Hough变换的植物叶脉检测新方法. 通讯和计算机, 2008, 5(8): 58-60.
[24]
马全军, 温智婕, 温维亮. 基于方向能量的植物叶脉提取方法. 应用数学与计算数学学报, 2012, 26(1): 85-93. DOI:10.3969/j.issn.1006-6330.2012.01.010
[25]
李灿灿, 王宝, 王静, 等. 基于K-means聚类的植物叶片图像叶脉提取. 农业工程学报, 2012, 28(17): 157-162. DOI:10.3969/j.issn.1002-6819.2012.17.023
[26]
宣旭峰, 王美丽, 张建锋. 基于HSV彩色空间与直方图信息的植物叶脉FFCM算法提取. 计算机应用研究, 2018, 35(9): 2861-2864. DOI:10.3969/j.issn.1001-3695.2018.09.071
[27]
宣旭峰. 植物叶片图像的叶脉提取方法研究[硕士学位论文]. 咸阳: 西北农林科技大学, 2018.
[28]
徐艳蕾, 贾洪雷, 包佳林. 基于模糊顺序形态学的植物叶片脉络边缘提取. 农业工程学报, 2015, 31(13): 193-198. DOI:10.11975/j.issn.1002-6819.2015.13.027
[29]
李永亮, 张怀清, 杨廷栋, 等. 模糊逻辑与复合顺序形态学相结合的叶脉检测方法. 林业科学, 2018, 54(5): 70-87. DOI:10.11707/j.1001-7488.20180508
[30]
杨泽静, 张征, 郑伯川. 基于局部模糊聚类的植物叶脉提取. 西华师范大学学报(自然科学版), 2018, 39(3): 325-330.
[31]
赵卓英, 孙明, 姜伟杰. 基于细胞神经网络的植物叶片图像中叶脉的提取. 农机化研究, 2009, 31(4): 168-171. DOI:10.3969/j.issn.1003-188X.2009.04.052
[32]
Li YF, Zhu QS, Cao YK, et al. A leaf vein extraction method based on snakes technique. 2005 International Conference on Neural Networks and Brain. Beijing: IEEE, 2005. 885–888.
[33]
Fu H, Chi Z. A two-stage approach for leaf vein extraction. Proceedings of 2003 International Conference on Neural Networks and Signal Processing. Nanjing: IEEE, 2003. 208–211.
[34]
傅弘, 池哲儒, 常杰, 等. 基于人工神经网络的叶脉信息提取—植物活体机器识别研究I. 植物学通报, 2004, 21(4): 429-436.
[35]
Xu H, Blonder B, Jodra M, et al. Automated and accurate segmentation of leaf venation networks via deep learning. New Phytologist, 2021, 229(1): 631-648. DOI:10.1111/nph.16923
[36]
Cheng HD, Jiang XH, Sun Y, et al. Color image segmentation: Advances and prospects. Pattern Recognition, 2001, 34(12): 2259-2281. DOI:10.1016/S0031-3203(00)00149-7
[37]
李灿灿, 孙长辉, 王静, 等. 基于改进的Sobel算子和色调信息的叶脉提取方法. 农业工程学报, 2011, 27(7): 196-199. DOI:10.3969/j.issn.1002-6819.2011.07.034