高速公路绿化是高速公路行车安全的重要保障, 在保护环境、减弱噪音等方面有重要作用. 道路绿化带作为最靠近路面的标志物, 其特征明显, 通过绿化带可以分割路面与环境信息, 有助于高速公路的三维重建, 实现构建现代化的养护体系, 推行科学化的养护策略, 实施精准化地养护工程.

无人机影像匹配点云技术结合了传统航摄与LiDAR的优点, 可以通过轻量级的设备获取测量目标的点云数据^[1]. 无人机点云技术具有效率高、成本低的特点, 常被用于公路^[2-5]及地形^[6-10]的测绘. 它可以自动寻找到同名的影像点, 在空中直接进行三角测量, 最终生成良好的影像, 有效解决了道路设计过程中影像匹配不合理问题^[7].

道路绿化区域提取方法的研究中, 文献[11]采用道路与路中央绿化带点云数据生成高程、反射强度及脉冲宽度属性栅格图像, 为道路边缘检测提供基础. 文献[12]采用机器学习的方法, 根据局部提取特征与空间分布关系将城市绿地从点云数据中精确分离. 文献[13]提出一种支持向量机的LiDAR数据分类方法, 有效地分割出城市道路绿化区域. 文献[14]提出了一种基于车载LiDAR技术的道路绿化带自动提取与绿植地物精细分类算法. 文献[15]提出一种“空心率”的点云分类方法, 对城区绿地进行了提取. 上述算法针对高速公路绿化带区域的研究较少, 且车载点云获取的实验方法易受到环境影响.

基于此, 本文提出了一种基于RANSAC平面拟合与法向量夹角双判定的道路绿化带提取算法, 以G85银昆高速-凤翔段的无人机影像点云为对象, 以高速公路的绿化带分割为研究内容, 提取其边界信息并完成高速公路的路面环境的分割.

1 实验准备 1.1 技术路线

实验首先将采集的点云数据进行预处理, 采用串行下采样减少数据量, 采用数据校正拟合数据平面, 采用高程过滤去除环境离群噪点; 预处理之后的点云数据, 采用本文提出的基于双判定因子的分割算法实现绿化带分割, 最终实现道路环境分割, 如图1所示.

1.2 数据获取

实验数据由无人机搭载的5目相机, 在陕西省G85银昆高速-凤翔段采集, 设备如图2(a)所示. 图2(b)为该无人机在陕西省 G85 银昆高速-凤翔段采集道路影像数据的场景. 实验借助三维建模的软件AgiSoft PhotoScan 将影像生成高质量的三维模型并输出海量点云数据.

2 高速公路无人机影像点云的预处理

无人机影像点云具有密度高、数目庞大、分布离散的特点. 庞大的点云数据量影响数据的交互、显示、存储. 为保证处理效率及点云细节不丢失, 要对冗余的点云数据进行精简, 即点云下采样. 无人机影像生成的道路点云数据输出到文件时, 保存为若干个文件. 每个文件存储的数据经过重绘后表现为一个三角形的部分道路模型. 道路的无人机影像点云数据拓扑关系不明显, 对采样点进行下采样时需要进行全局搜索, 效率较低, 建立点云拓扑关系可以有效解决该问题. 点云数据受采集方式及环境等因素影响, 存在大量噪声点, 噪声点严重影响点云分割算法的准确率, 使得分割结果与实际环境的偏差较大, 因此对道路点云数据进行降噪处理以获取更加准确的实验数据.

2.1 点云数据的串行下采样

本文所使用的高速公路无人机影像点云截取自G85银昆高速-凤翔段的点云模型, 原始点云数据量约为1.92亿. 原始数据量过于庞大, 现有的体素化下采样、均匀下采样、曲率下采样需要将待处理的点云数据全部读入, 计算机内存难以满足其存储需求. 随机采样根据点云输入顺序进行采样, 但其采样效果不稳定.

单独使用某一种下采样方法无法满足本文数据处理的需要. 对于原始点云, 首先采用随机下采样方法进行第1次采样, 采样后的结果可以作为其他下采样算法的数据输入; 经过随机下采样得到的点云数据量依旧庞大, 本文中采用体素采样方法进行第2次下采样, 体素化下采样兼顾效率与采样的均匀性的优点; 最后采用均匀下采样方法进行第3次下采样. 下采样具体步骤过程如表1所示.

2.2 点云数据校正

无人机采集高速公路点云时, 其数据会受采集方式及道路真实环境因素共同影响. 图中路面部分及环境部分组成的平面与XOY平面存在一定夹角. 如图3所示, 图3(a)为道路原始点云模型, 该模型中出道路存在坡度. 图3(b)为道路原始点云模型局部放大图, 该图中路面与环境组成的平面存在倾斜. 通过高程对原始公路点云进行分割无法得预期结果. 故需要将公路原始高程点云进行空间位置转换, 算法如算法1, 转换后原始数据拟合的平面应与XOY面平行.

算法1. 点云空间位置转换算法
1. 给定点云集合 $\scriptstyle S $ , 对 $\scriptstyle S $ 进行平面拟合并求取该平面的法向量n1. 2. 给定目标平行面的法向量n2, 本文中需要与XOY平面平行, 故选取 $\scriptstyle {n_2} = (0, \; 0, 1)$ . 3. 求旋转轴, 即求解垂直于原平面法向量n1与目标平面法向量n2的向量. 4. 根据旋转轴即夹角 $\scriptstyle \alpha $ . 5. 根据旋转轴及夹角 $ \scriptstyle \alpha $ 求解旋转矩阵 $\scriptstyle R $ .6. 对原始点云通过旋转矩阵 $\scriptstyle R $ 进行变换.

本文以G85银昆公路-凤翔段的原始点云为实验数据, 以XOY平面作为目标平面, 通过上述方法求取旋转矩阵, 并对原始点云进行变换. 实验结果如图4, 图5所示. 图4为公路的原始点云数据经过校正后的俯视图, 图5为校正后点云数据沿着道路横断面方向的侧视图; 图5中, 道路路面及其环境构建的几何平面与XOY面平行.

2.3 基于高程分布的离群点去除算法

高速公路环场景较为复杂, 如图6所示. 该场景主由两部分组成, 路面场景与路面环境场景, 其中, 路面场景在高程上略高于路面环境场景, 且两部分场景通过边坡相连接. 路面场景中主要由路面组成, 存在少数的、不连续的护栏. 路面环境场景中场景较为复杂, 存在坑洼、道路、房屋、信号塔等.

受限于采集方式、外界环境(如坑洼、天桥)、数据处理等因素, 数据中存在部分噪声点, 其中高于或低于密集点云的部分统称为离群点, 为准确分割绿化带, 对离群点进行分离, 具体算法如算法2.

算法2. 基于高程分布的离群点去除算法
1. 将原始点云的高程分段, 即将整个高程值的范围划分为 $\scriptstyle n $ 个间隔 $\scriptstyle {C_i} $ , 每个间隔跨度 $\scriptstyle L = ({H_{\max }} - {H_{\min }})/n $ ; 其中, $\scriptstyle {H_{\max }} $ 和 $\scriptstyle {H_{\min }} $ 表示原始点云数据的高程极值. 高程直方图如图7所示. 2. 计算每个间隔 $\scriptstyle {C_i} $ 中包含的点数. 3. 设置阈值 $\scriptstyle {\omega _c} $ , 遍历所有间隔, 若间隔 $\scriptstyle {C_i} $ 中点云数量小于 $\scriptstyle {\omega _c} $ , 则自动分类为离群点.

3 基于双判定因子的公路绿化带分割算法

图8中, 道路及路面两侧环境总体处于同一个几何平面, 局部存在起伏. 路面场景中的绿化带、信号塔明显高于该几何平面, 低于该几何平面的坑洼分布不均匀且形状不规则, 场景较为复杂.

通过公路点云数据拟合的平面不会是绝对的平面, 而是由多个点在一定范围内组成的拟合平面. 直接通过RANSAC平面拟合, 选择不在该平面上的点即可分离出绿化带, 需要给定一定的阈值作为判断点云采样点是否在平面内, 阈值过小会导致平面破损, 过大又会增加腐蚀作用, 将绿化带部分划分到平面内, 影响后续绿化带部分提取的精确程度.

法向量夹角可以用来判别某点云采样点的局部邻域是否平缓, 如图8所示, 图9(a)中的法向量夹角较大, 表明该区域较为起伏, 图8(b)的法向量夹角较小, 表明该区域较为平坦. 绿化带部分点云的起伏较大, 路面平面与路面环境平面较为平坦^{[16, 17]}. 通过法向量夹角对公路点云中进行描述, 设置合适的阈值便可以分割出道路绿化带. 通过法向量夹角进行阈值分割可以提取不平坦的公路绿化带部分, 但同样会将道路环境中的坑洼边界、房屋边界提取出来, 且由于该部分数据与提取得到的绿化带部分数据在数量上差距不大, 难以通过去噪算法去除.

单独使用某种算法难以取得好地分割结果. 为保证形状较为复杂的公路环境下绿化带分割的正确性和特征的完善性, 本文以法向量夹角、RANSAC点云平面分割算法作为双判定条件, 对公路点云的绿化带进行分割, 算法具体如算法3.

算法3. 绿化带分割算法
1. 给定无人机影像点云, 先对其进行下采样, 滤波等, 再通过数据进行校正及去除过高的天桥、过低的坑洼, 得到点集 $\scriptstyle S $ .2. 对点集 $\scriptstyle S $ , 用RANSAC算法进行平面拟合, 选择距该平面较远的点集作为 $\scriptstyle {S_2} $ .3. 对点集 $\scriptstyle S $ , 计算每一个点与邻域内点的法向量夹角的算术平均值, 选择法向量夹角较大的采样点集记为 $\scriptstyle {S_3} $ .4. 目标部分点云用 $\scriptstyle {S_4} $ 表示, 其中 $\scriptstyle {S_4} = {S_2} \cap {S_3} $ .

算法3的步骤2具体过程如下.

1) 对点集 $ S $ 采用RANSAC算法构建拟合平面, 得到平面 $ PL(a, b, c, d) $ , 平面公式如式(1)所示:

$ ax + by + c{\textit{z}} = d $

(3.1)

其中, $ (a, b, c) $ 为平面 $ PL(a, b, c, d) $ 的法向量, 且满足 $ {a^2} + {b^2} + {c^2} = 1 $ ; $ d $ 为坐标点到平面的距离.

2) $ S $ 中任一点 $ {p_i}(x, y, {\textit{z}}) $ 到平面 $ PL(a, b, c, d) $ 的欧式距离用 $ d({p_i}, PL) $ 表示, 其中 $ {p_i} \in S $ , $ i = 1, 2, \cdot \cdot \cdot , n $ ; 计算式为:

$ d({p_i}, PL) = |ax + by + c{\textit{z}} - d| $

(3.2)

3) 设置 $ {\delta _0} $ , 对任意采样点 $ {p_i}(x, y, {\textit{z}}) $ , 若其 $ d({p_i}, PL) $ > $ {\delta _0} $ , 则将其加入点集 $ {S_2} $ .

算法3的步骤3具体过程如下.

1) 点集 $ S $ 中任一点 $ {p_i} $ , 其中 $ {p_i} \in S $ , $ i = 1, 2, \cdot \cdot \cdot , n $ , 通过k-d树构建其邻域关系, 使用主成分分析法估计其表面法向量. 定义点云采样点 $ {p_i} $ 与其临近点的法向量夹角的算术平均值:

$ {\bar \theta _i} = \sum\limits_{j = 1}^k {{\theta _{ij}}} $

(3.3)

其中, $ {\theta _{ij}} $ 为采样点 $ {p_i} $ 与其临近点 $ {p_j} $ 的法向量夹角, $ k $ 为其邻域的大小.

2) 通过法向量夹角来提取绿化带部分的采样点, 选择合适的阈值 $ {\delta _1} $ , 遍历点集 $ S $ 中每一点 $ {p_i} $ , 若其对应的 $ {\bar \theta _i} > {\delta _1} $ , 则将该采样点加入点集 $ {S_3} $ .

4 基于绿化带边界提取的路面环境分割

实际场景中, 道路绿化带处于道路路面于道路两侧环境之间. 提取道路绿化带点云的边缘, 并通过该边缘完成对路面环境的分割. 具体算法如算法4.

算法4. 基于绿化带边界提取的路面环境分割算法

1. 输入经过处理后的高速公路原始点云数据 $\scriptstyle S $ 与绿化带点云数据 $\scriptstyle {S_3} $ .2. 将 $\scriptstyle {S_3} $ 分割为两部分得到 $\scriptstyle {S_{31}} $ 、 $\scriptstyle {S_{32}} $ , 分别代表道路左侧、右侧绿化带; 通过Alpha-Shapes提取 $\scriptstyle {S_{31}} $ 、 $\scriptstyle {S_{32}} $ 的边界点并对边界点进行排序, 选择靠近部分路面的边界点得到 $\scriptstyle {E_{31}} $ 与 $\scriptstyle {E_{32}} $ .3. 将 $\scriptstyle S $ 、 $\scriptstyle {E_{31}} $ 、 $\scriptstyle {E_{32}} $ 投影到XOY平面, 根据 $\scriptstyle {E_{31}} $ 、 $\scriptstyle {E_{32}} $ 将 $\scriptstyle S $ 在XOY面的投影沿着x轴划分为若干部分; 对于每一部分的数据, 通过该部分数据分别对应在 $\scriptstyle {E_{31}} $ 或 $\scriptstyle {E_{32}} $ 中的两个点, 并通过该点进行直线拟合, 根据实际情况选择处于该直线一侧数据即为道路某一侧的环境数据. 如图10所示.

5 实验结果与精度检验

本文实验以G85银昆高速-凤翔段的无人机影像点云为实验数据, 在Win 10系统下利用PyCharm配置Python 3.7+Open3D 0.13.1, 对基于RANSAC与法向量夹角的双判定公路绿化带分割算法进行验证; 对于本文算法分割得到的绿化带点云, 利用Matlab 2018验证基于边界提取的路面环境分割算法.

5.1 基于双判定因子的公路绿化带分割算法验证

公路原始点云经过串行下采样的结果如图11所示. 图11(b)为对图11(a)对应的点云进行校正及高程过滤的结果; 路面两侧环境中的坑洼部分与信号塔被过滤掉, 蓝色平面上的两条彩色直线为道路绿化带.

选取实验区两段50 m长的路段点云数据, 分别采用RANSAC平面分割方法 、法向量夹角分割方法、本文提出的基于RANSAC与法向量夹角双判定分割方法对上述点云数据中的绿化带部分进行分割, 结果如图12所示. 图12(c)和图12(e)为本文方法提取的路面绿化带点云, 本文提取结果中, 道路绿化带部分被完整地提取, 相比较图12(a)和图12(d)结果, 过滤了路面高曲率点及道路边界点等; 相比较图12(b)和图12(e), 去除了道路两侧的块状点云. 以3种算法的实验结果进行比对, 本文算法较为优越, 分割公路绿化带效果较好, 对路面噪点及环境中的离群点具有较好的抗干扰性.

5.2 精度检验

为定量分析基于双判定因子的道路绿化带分割算法具有良好的效果, 实验对绿化带分割效果进行精度检验, 在路段1 (图12(a)–图12(c))随机选取100个取样点, 通过人机交互的方式判断出其中绿化带样本点42个, 其他类型样本点58个, 再统计3个算法提取结果样本点的地物类型, 统计不同算法绿化带样本点被正确提取的样本数, 计算总体精度和Kappa系数, 结果如表2所示, 计算得出本文提出的基于双判定因子的道路绿化带提取算法在3个算法的精度最高, 总体精度为94%, Kappa系数为87.77%.

5.3 基于边界提取的路面环境分割

G85-凤翔段部分路段点云经过预处理后的三维散点图如图13所示. 以图12(c) 提取的道路绿化带数据与图13的点云数据为实验数据, 采用本文提出的基于边界提取的路面环境分割算法进行处理, 结果如图14.

图14包含两种颜色数据, 其中绿色代表道路原始点云数据, 红色代表本文算法分割得到的路面环境部分; 图中路面两侧环境被完整地分割出, 但存在部分环境数据被划分到路面中; 该部分数据为横跨道路两侧的电线对应的点云数据, 可以通过高程将其与路面部分数据进行分离.

6 结论与展望

本文以无人机采集的高速公路影像点云为研究对象, 以高速公路的绿化带分割为研究内容, 提出了基于RANSAC平面分割结合法向量夹角双判定的道路绿化带分割算法, 并最终实现了路面环境的分割. 首先, 基于无人机影像数量庞大、密度高、处理难度大的特点, 本文采用串行下采样的方法, 在尽可能保留有效信息的同时降低点云数量, 并使用基于高程分布的高速公路场景分类方法去除干扰数据; 其次, 通过本文提出的基于RANSAC平面分割结合法向量夹角双判定的公路绿化带分割算法分割绿化带; 最后以道路绿化带点云为对象, 提取其边界信息, 选择靠近路面一侧的边界点进行多段直线拟合, 完成对道路环境的分割. 实验结果表明本文方法提取的绿化带更加完整、噪声数据更少, 实验精度高, 依托于绿化带边界分割的高速公路环境三维立体重建, 还需进一步研究.