目前地质科研人员主要根据岩石薄片显微图像^[1]对岩石的岩性^[2]进行判断, 但在利用显微镜对岩石薄片进行成像的过程中, 视野大小和物镜倍数成反比, 利用显微镜只能观察到岩石图像的微小区域, 不利于研究人员对岩石整体性能的探究. 所以将多张单视域的岩石显微图像拼接成一张全幅面的岩石显微图像尤为重要, 能够帮助研究人员从更宏观的角度对整张薄片进行研究和保存, 极大地推进了标本薄片的数字化进程^[3].

特征提取是图像拼接的关键组成部分, 从1977年至今一系列特征点提取算法相继被提出, 例如1977年著名的Moravec角点检测算法^[4]问世, 之后尺度不变特征变换(scale invariant feature transform, SIFT)^[5]和加速稳健特征(speeded up robust features, SURF)^[6]被提出, 但是SIFT算法在提取特征点时速度慢并且鲁棒性差, 在构建线性空间时丢失了大量的图像细节^[7], 陈敏等^[8]对SIFT和SURF特征提取算法进行了对比, 发现针对待匹配图像之间旋转变形不大的情况, SURF算法的配准准确度更高, 所以针对图像之间旋转角度不大的图像, 通常采用SURF算法进行特征点的提取.

图像拼接技术研究多见于无人机影像^[9]和遥感图像领域^[10]. 曹南等^[11]利用SURF算法进行遥感影像配准, 并利用GPU对SURF算法进行优化, 实现准确匹配并且提高了匹配速度. 张二磊等^[12]将改进的SURF算法应用到遥感图像的配准中, 在原描述算子中加入特征点色彩信息, 提高了配准的准确性和稳定性. 王森等^[13]利用SURF算法对现场概貌进行配准, 通过随机抽样一致(random sample consensus, RANSAC)算法筛选出正确匹配点, 提高配准准确率, 获取到完整的现场概貌图. 徐全飞等^[14]利用SURF算法和矩阵乘法完成超大规模的遥感全景图像拼接, 在宏观视野图像中应用良好, 不适用于精度级别高的显微图像, 柴政等^[15] 改进SURF算法对显微图像进行拼接, 拼接效果较好, 但是当拼接图像数量较多时, 会产生累计误差, 使得拼接错位.

利用SURF算法进行岩石显微图像的全幅面图像拼接时, 由于大部分岩石图像内容丰富并且包含大量的相似易混淆区域, 使得错误匹配点较多, 拼接不准确, 并且有些薄片的边缘图像内容稀疏, 使用此方式无法完成全幅面图像的配准. 针对此问题提出基于SR-SURF算法的岩石显微图像拼接方法, 利用此方法在进行全幅面图像的拼接时, 拼接准确率高, 耗时较短, 能解决多幅图像拼接时产生的错位现象, 在工程中能得到较好的拼接结果.

1 岩石显微图像采集

通过分析显微镜的特性得出先验知识: 岩石显微图像的拼接方法与显微镜采集图像的方式有密切的关系, 显微镜载物台的移动方式决定了采集顺序, 在岩石薄片全幅面显微图像采集过程中, 载物台的移动路径为S形路径, 如图1所示, 从岩石薄片的起点运动到岩石薄片的终点, 载物台的移动方向只存在水平方向和垂直方向, 并且得到的每幅图像存在空间上的重叠, 由此得出拼接路径.

在采集过程中, 理想情况下相邻岩石显微图像之间只存在水平方向或者垂直方向偏移. 但在实际采集过程中, 由于相机和载物台之间不可能绝对平行, 当载物台移动时显微镜采集的每幅图像都会产生x和y方向的偏移, 如图2所示, 其中d表示显微镜载物台水平方向的移动距离, h表示显微镜载物台垂直方向的移动距离.

地质科研人员需要在高倍镜下观察岩石图像, 显微镜载物台在移动过程中, 由于电机齿轮转动等原因会产生机械误差, 相邻视域的位移量并不固定值, 存在偏差.

载物台 $x$ 方向移动时:

x的距离偏差会在 $D({{{d}}_y}, {v_x})$ 邻域内, 可定义为式(1):

$ D({d_x}, {v_x}) = \{ x|{d_x} - {v_x} < x < {d_x} + {v_x}\} $

(1)

y的距离偏差会在 $D({{{d}}_y}, {v_y})$ 邻域内, 可定义为式(2):

$ D({d_y}, {v_y}) = \{ y|{d_y} - {v_y} < y < {d_y} + {v_y}\} $

(2)

其中, $d_x^{}$ , ${d_y}$ 分别表示载物台水平方向移动时x和y方向产生偏差的中心值, ${v_x}$ , ${v_y}$ 表示偏差范围. 垂直方向移动同理.

2 拼接算法改进

本文提出的岩石显微图像拼接流程如图3所示, 输入图像为利用显微镜采集一张岩石薄片得到的序列图像, 首先对图像进行等宽度定步长分割, 利用哈希指纹提取相似区域, 提高特征点提取速度和匹配准确率、减少多幅图像拼接时计算机的资源消耗, 然后使用改进的RANSAC算法剔除错误匹配点, 针对错误匹配图像引入最佳模板进行纠正, 再然后利用最小二乘法消除单应性矩阵累计相乘产生的累计误差, 最后利用渐入渐出法对图像进行融合.

2.1 SR-SURF算法提取特征点

在图像的拼接中, 拼接图像的大小会影响匹配特征性能, 所以本文选择寻找最佳相似区域, 利用该区域进行特征提取可以提高有效特征点的数量, 为本文提高匹配点的正确匹配率奠定了基础, 本文是对多幅岩石显微图像进行拼接, 耗费大量的计算机资源, 仅利用相似区域进行特征点的提取与匹配, 减少了资源的消耗. 本文选用哈希算法^[16]对岩石显微图像进行编码生成哈希指纹, 从而提取岩石显微图像的相似区域.

基准图像为左侧(上侧)图像, 待匹配图像为右侧(下侧)图像, 通过等宽度定步长移位来获取两张图像的相似区域, 如图4所示, 左侧的目标相似区域初始宽度为n, 其中n为图像宽度的1/4; 待匹配图像的目标相似区域则选择左侧的n区域; W为图像的大致相似区域, 当左侧的n区域到达W时, 随着移位的不断增加, 两侧n区域的相似度将降低, 通过该规律来获取最佳相似区域. 将左侧图像以n为区域宽度, 步长为1/32不断对左侧图像进行等宽度定步长分割, 生成左侧图像目标n区域的哈希指纹, 计算此指纹和待匹配图像相似区域的哈希指纹之间的汉明距离, 找到距离的极小值时, 此区域即为匹配图像的相似区域.

SURF算法是对整个图像进行特征点的提取, 而本文的SR-SURF则利用等宽度定步长分割方法, 并且引入哈希指纹提取最佳相似区域, 对此区域进行特征点提取, 提高了匹配准确率和匹配速度、解决了多幅图像拼接时, 计算机资源受限的问题.

2.2 RASNSAC算法改进

RANSAC算法的主要思想是从给定的数据集合中, 找出最佳的符合数据集合的模型, 其中将内点定义为符合模型的数据, 将外点定义为不符合模型的数据. 计算步骤如下: 首先随机选取4组数据, 代入公式求得符合此数据的参数模型Q, 在给定的数据集中求得数据与参数模型Q的误差, 如果误差小于所设定的阈值, 则认为此数据为内点, 否则此数据被认为外点, 内点数量最多的模型就是最佳模型.

由于RANSAC算法是通过随机抽取样本点进行不断的迭代求得的单应性矩阵H, 如式(3)所示, 该矩阵由8个参数和一个常数组成.

$ \left[ {\begin{array}{*{20}{c}} {\hat x} \\ {\hat y} \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{m_0}}&{{m_1}}&{{m_2}} \\ {{m_3}}&{{m_4}}&{{m_5}} \\ {{m_6}}&{{m_7}}&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} x \\ y \\ 1 \end{array}} \right] = H\left[ {\begin{array}{*{20}{c}} x \\ y \\ 1 \end{array}} \right] $

(3)

其中, $(x, y)$ 和 $(\hat x, \hat y)$ 分别表示变换前后的图像坐标.

求解该单应性矩阵, 需要随机抽取4对匹配点进行计算, 由先验知识可知, 图像仅存在x, y方向的平移变换, 为减少模型的参数量, 对 $H$ 矩阵进行优化得到 $\mathop H\nolimits_t $ 矩阵, 如式(4)所示:

$ \left[ {\begin{array}{*{20}{c}} {\hat x} \\ {\hat y} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{t_x}}&0 \\ 0&{{t_y}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} x \\ y \end{array}} \right] = {H_t}\left[ {\begin{array}{*{20}{c}} x \\ y \end{array}} \right] $

(4)

其中, $\mathop t\nolimits_x $ , $\mathop t\nolimits_y $ 分别表示x, y方向的平移. 可见平移变换仅包含2个自由度, 求解参数只需1对匹配点, 利用该模型剔除错误匹配点. 因为求解该模型的参数只需要一对预匹配点, 可将预匹配点按最近邻与次近邻距离比进行升序排序并且在RANSAC迭代时按顺序抽取一对匹配点代替原来的随机抽样, 当匹配点的最近邻与次近邻距离比越小时, 该匹配点为正确匹配的可能性越大, 收敛速度越快, 从而提高求解速度.

2.3 最佳模板匹配

在对岩石薄片的整张图像进行拼接时, 由于有些图像缺少有效内容, 在该图像上提取不到有效特征点, 会导致匹配失败. 在进行全幅面岩石显微图像拼接时, 如果提取的特征点较少, 可能会存在错误匹配情况, 需要对错误匹配进行纠正, 否则将影响最终的拼接结果以及后续的融合, 所以本文提出利用最佳模板^[17]对错误匹配进行纠正.

首先在水平方向和垂直方法分别找到拥有最多内点集的岩石显微图像的下标h和v, 水平方向的最佳匹配模板定义为 ${W_{{h}}}$ , 垂直方向的最佳匹配模板定义为 ${W_v}$ . 将满足式(5)的匹配关系定义为错误匹配:

$ \sum\limits_{i = 1}^n {\left| {W_i - W_h} \right|} + \left| {W_i - W_v} \right| > \delta $

(5)

其中, $\delta $ 为误差阈值.

最后利用 $ {W_h} $ 和 ${W_v}$ 替换错误匹配图像的匹配关系.

2.4 最小二乘法消除累计误差

由于单应性矩阵的累计相乘, 在转换过程中会产生累计误差, 在对大量的图像进行拼接时, 会产生错位现象, 本文引入非线性最小二乘法^[18]消除累计误差, 根据特征点匹配对的内点, 定义匹配初始向量V₁与待匹配结果向量V₂, 如式(6)所示:

$ V = ({m_1}, {n_1}, {m_2}, {n_2}, \cdot \cdot \cdot, {n_l}, {n_l}) $

(6)

其中, m与n分别是内点的横纵坐标, l是内点的总数量.

定义约束向量V, 如式(7)所示:

$ V = V_1F - V_2 $

(7)

其中, V₁为匹配初始向量, V₂为待匹配结果向量, 利用非线性最小二乘法更新迭代F, 使得约束向量V足够小, 得到 ${\bar F}$ , 使用 ${\bar F}$ 进行对图像进行平面转换.

3 实验结果及分析

实验环境如下: Intel(R) Core(TM) i7-4790K CPU @ 4 GHz、32 GB内存, 开发环境为 Visual Studio 2015. 多幅图像拼接时利用多线程进行图像拼接.

3.1 实验结果分析

利用显微镜对10张岩石薄片进行图像采集, 共获得3965张图像, 从中随机选取100张岩石显微图像分别使用SIFT算法, SURF算法和本文提出的SR-SURF算法进行特征点的提取与匹配, 从表1中可知针对岩石显微图像的特征提取与匹配, SURF算法比SIFT算法的正确匹配率高并且耗时较少. 利用SR-SURF算法对岩石显微图像进行匹配, 正确匹配率达到了92%, 比SURF算法的正确匹配率提高9%.

在岩石显微图像拼接中, 拼接错位会影响研究人员对岩石薄片的进一步分析研究, 因此拼接后的图像在视觉上的效果是否良好显得尤为重要. 由于部分图像提取不到有效特征点, 所以本文提出利用最佳模板对图像进行匹配纠正; 由于单应性矩阵累积相乘, 会产生累计误差, 会使拼接结果产生不同程度的错位现象, 所以本文通过改进的RANSAC算法求得单应性矩阵之后, 利用模板匹配对错误匹配图像进行纠正, 最后利用最小二乘法消除累计误差. 在未纠正前, 存在错误匹配和误差累积导致拼接后的全幅面岩石显微图像出现大量的错位现象, 如图5(a)和(e)所示, 该结果会影响地质科研人员对岩石类型的分析. 为进一步分析未纠正前的拼接结果存在明显的错位现象, 将全幅面岩石显微图像拼接结果图进行放大, 如图5(c), (d), (g), (h)所示, 从标注区域可以看出SURF拼接方法存在特别明显的错位现象, 而本文方法得到的拼接图像没有发生错位. 由此得出本文的拼接算法匹配准确率高, 拼接后的全幅面岩石显微图像不仅无错位现象, 而且保留了完整的结果图.

本文选择在不同样本下利用SURF方法以及本文方法对配准错误率和拼接时间进行分析, 配准错误的图片通过最佳模板匹配进行纠正, 如表2所示, 分析了4种样本的实验数据, 每种样本拥有不同的图像数量. 在进行全幅面岩石显微图像拼接时, 在拼接耗时方面, 本文方法耗时较少. 在配准准确率方面, 本文方法在进行全幅面图像拼接时配准错误率远低于SURF算法. 样本1的最终拼接结果图如图5所示, 可以看出本文方法在进行全幅面岩石显微图像拼接时不仅配准准确率高、视觉效果良好而且速度快. 在对上千幅图像进行拼接时, 拼接速度较慢, 采用多线程方式对图片进行特征提取、匹配、融合, 极大地提高了拼接速率, 提高了工程的适用性.

3.2 工程应用

通过显微镜采集得到的岩石显微图像是单视域图像, 只能展现岩石薄片的局部特征, 无法满足地址科研人员的需求. 所以在实际的应用中需要将多张的单幅岩石显微图像拼接成全幅面岩石显微图像. 图6是由180张单视域图像利用SR-SURF算法拼接而成的全幅面岩石显微图像, 尺寸大小为27802×21762. 该图像由15行12列单视域岩石显微图像组成如图7所示, 图7是利用显微镜采集得到的3幅岩石显微单视域图像, 尺寸大小为2736×1824. 实验结果证明本文算法不仅能在实际工程应用中得到较好的结果, 而且仅仅利用相似区域提取特征点, 减少了计算机资源消耗, 提高了拼接速率, 实现了岩石薄片的资源共享, 提高了工程的适用范围.

4 结论与展望

针对岩石显微图像拼接存在配准准确率低, 速度慢等问题, 提出拼接多张岩石显微图像的拼接方法, 该方法能快速拼接出能够展示细节的高分辨率的全幅面图像. 创新之处在于利用SR-SURF算法提取特征点, 耗时较少, 减少了计算机资源的消耗; 之后通过改进的RANSAC算法筛选出正确匹配点, 利用最佳模板纠正错误匹配图像, 并且引入最小二乘法消除累计误差, 提高拼接准确率. 试验结果表明: 本文方法的拼接结果图像质量较好, 准确率高, 拼接速度快, 能够有效帮助地质科研人员对岩石的探索, 推动了岩石显微图像的数字化进程, 目前已在部分地质部门生产应用, 效果较好. 针对多张岩石显微图像的拼接, 拼接速度尤为重要, 在进行多幅图像拼接时, 可以利用GPU提取图像特征点进一步加快拼接速度.