近年来, 随着遥感技术的发展, 高光谱图像分类作为遥感研究领域的一项重要任务得到众多研究者的关注. 与传统的RGB图像相比, 高光谱图像除了能够获取地物的空间信息外, 还能够捕获从可见光到红外光的数百个光谱波段, 这些丰富的光谱信息更有助于区分不同的地物. 因此, 高光谱图像分类在农业、地质、军事、海洋、大气环境研究以及城市发展等诸多方面得到了广泛的应用^[1-5].

在过去几十年中, 高光谱遥感图像分类方法主要关注光谱信息, 研究者提出了许多特征提取方法来提取不同的光谱特征, 但忽略了相邻像素之间的空间关系, 传统方法包括K近邻、最大似然、逻辑回归和支持向量机(SVM)等, 然而仅通过单一的光谱信息很难区分不同的类别. 近年来, 深度学习在各个领域取得了显著的成绩, 由于其能够提取高级语义特征, 因此成为了高光谱图像分析的新趋势. Chen等人使用堆叠式自动编码器在特征降维后提取高级特征^[6]. Yue等人首次将深度卷积神经网络(CNN)引入遥感领域, 使用卷积神经网络分别提取光谱和空间特征, 并通过向分类器添加逻辑回归来微调模型, 以提高分类精度^[7]. 由于三维卷积比仅考虑光谱信息的一维卷积和仅考虑空间信息的二维卷积可以获得更好的结果, Zhong等人提出了SSRN网络, 应用三维卷积神经网络来充分挖掘光谱和空间特征^[8]. 虽然这些基于卷积神经网络的高光谱图像分类方法取得了不错的效果, 但高光谱遥感图像分类问题仍然面临着一些挑战. 一是训练样本非常有限时提取特征会出现过拟合问题. 二是卷积神经网络描述特征之间相关性的能力并不理想. 针对这些挑战, Gong等人提出了3DMSCNN网络, 采用多尺度卷积核进行并行卷积来提升模型表示能力^[9]. Sabour等人提出了胶囊网络(CAP), 该网络能够很好地捕获样本特征之间的相关性^[10]. 基于胶囊网络, Zhu等人提出了卷积胶囊网络(DCCN)方法, 更好地实现了高光谱遥感图像的高精度分类^[11]. 本文在这几种方法的基础上, 提出了一种基于多尺度3D胶囊网络的高光谱图像分类方法. 实验结果表明, 该方法在有限训练样本下能有效提取光谱和空间信息, 相比其他先进的方法能够获得更高的分类精度.

1 相关工作 1.1 胶囊网络

胶囊网络^[10]能够克服卷积神经网络在池化操作中丢失有用信息且获取特征之间关系有限的问题. 它是利用一组神经元来获得特定类型物体的向量表示. 向量的模长表示各个类别的概率, 模值越大则属于该类别的概率越大, 方向表示它所具有的属性.

胶囊网络的基本结构如图1所示, 它主要由4部分组成, 卷积层, 主胶囊层、数字胶囊层和全连接层. 网络训练时主要包含3个步骤, 首先做矩阵乘法, 通过矩阵 $ {w_{ij}} $ 来映射低层特征与高层特征的相对关系, 如式(1)所示. 然后进行加权相加, 用来衡量低层胶囊对高层胶囊的重要程度, 如式(2)和式(3)所示. 接着利用非线性压缩函数得到输出胶囊 $ {v_j} $ , 如式(4)所示. 最后为了使胶囊对输入图像进行编码并输出对应实例化参数, 引入重构损失 $ \parallel {L_2}\parallel $ 作为正则项.

$ {u_{j\left| i \right.}} = {w_{ij}}{u_i} $

(1)

$ {s_j} = \displaystyle \sum\nolimits_i {{k_{ij}}{u_{j\left| i \right.}}} $

(2)

$ {k_{ij}} = \dfrac{{\exp ({b_{ij}})}}{{\displaystyle \sum\nolimits_k {\exp ({b_{ik}})} }} $

(3)

$ {v_j} = \dfrac{{{{\left\| {{s_j}} \right\|}^2}}}{{1 + {{\left\| {{s_j}} \right\|}^2}}} \cdot \dfrac{{{s_j}}}{{\left\| {{s_j}} \right\|}} $

(4)

其中, $ {u_{j\left| i \right.}} $ 是过将前一个胶囊的 $ {u_i} $ 乘以变换矩阵 $ {w_{ij}} $ 所获得的, $ {s_j} $ 是除第一层胶囊外的所有预测向量的加权和, $ {k_{ij}} $ 是由迭代动态路由过程确定的耦合系数, $ {b_{ij}} $ 是低层胶囊 $ i $ 和高层胶囊 $ j $ 匹配的概率, 初始化为0, $ {v_j} $ 是利用非线性压缩函数得到胶囊 $ j $ 的输出向量.

胶囊网络的输出是一类物体的向量表示, 当物体平移、旋转或尺度发生变化时, 胶囊的输出向量长度可能不会发生很大的变化. 因此, 胶囊网络在整个过程中可以得到更强的鲁棒性表示.

1.2 多尺度卷积神经网络

多尺度卷积神经网络相比单一尺度的卷积神经网络在提取丰富图像特征的同时能够保留图像信息, 增强算法对干扰因素的鲁棒性^[12]. 图2显示了具有3种尺度的卷积神经网络, 其组成包含多尺度卷积和全连接层. 通过多尺度卷积核从高光谱图像中提取多尺度特征, 它由3个平行的卷积核组成, 包括1×1×1、3×3×3和5×5×5卷积核. 卷积过程中可以添加1×1×1卷积核来降低图像的维数.

2 多尺度3D胶囊网络 2.1 网络结构

胶囊网络能够有效处理有限训练样本的数据并能捕获特征之间的相关性, 但是低层特征提取通过单一尺度的卷积神经网络获得, 其特征表示能力有限. 已有研究表明, 多尺度卷积核结构能够获得更好的分类结果^[9], 并行卷积可以增加网络模型的宽度和深度, 能更有效地提取层次特征. 另外, 3D卷积神经网络已被证明在空间和光谱两方面都优于1D和2D卷积神经网络^[8]. 因此, 本文提出了一种用于高光谱图像分类的多尺度3D胶囊网络, 以Indian Pines数据集为例, 网络整体流程如图3所示, 该网络由4部分组成, 分别是多尺度卷积部分、主胶囊部分、数字胶囊部分和局部连接部分, 可以在有限的训练样本下学习高层光谱、空间特征, 并且对旋转和仿射变换具有鲁棒性.

首先是多尺度卷积部分, 多尺度卷积核实现了并行卷积, 使得多尺度特征提取成为可能. 此外, 并行方法可以增加网络的宽度, 对提高模型的表示能力具有积极作用. 从高光谱图像提取得到27×27×200的近邻块, 经两次多尺度3D卷积得到特征映射, 第1层3D卷积核的大小分别为1×1×1, 3×3×3, 5×5×5, 第2层3D卷积核的大小分别为1×1×200, 3×3×200, 5×5×200, 步长均为1, 3个不同尺度分支的通道数分别为64, 128, 256, 卷积后通过PReLU函数激活, 得到输出大小分别为27×27, 23×23, 19×19的特征图.

其次是主胶囊部分, 通过8组步长为2的9×9×32大小的卷积核进行卷积计算, 然后将输出结果拉平, 3个不同尺度的分支分别得到3200, 2048和1152个胶囊, 每个胶囊是8维向量.

然后是数字胶囊部分, 主胶囊部分输出的向量作为数字胶囊的输入, 利用8×6的变换矩阵做线性变化, 得到1×6的向量. 数字胶囊部分的胶囊数量等于类别总数, 由于该数据集有16个类别, 因此高层有16个胶囊, 则3个变换矩阵维度分别为(8, 6, 3200, 16), (8, 6, 2048, 16), (8, 6, 1152, 16), 对得到的向量加权相加后, 将3种尺度叠加得到高层胶囊为16×18维, 并用非线性压缩函数激活这些向量用于预测输出, 向量的模长越大, 输入的数据则越有可能属于这一类.

最后是局部连接部分, 是对数字胶囊部分输出的向量进行重构, 以往的胶囊网络包含全连接胶囊层, 会产生大量的训练参数导致有限的训练样本出现过拟合问题, 本文利用局部连接缓解了高光谱图像分类中的过拟合问题. 经局部连接得到输出结果后通过间隔损失函数惩罚错误的识别结果, 通过迭代训练后得到最优分类结果.

2.2 参数配置

实验数据集中每类随机选取200个像素点组成训练集用于训练所提出的网络, 通过改变目标参数固定其余参数的方式多次调参训练, 发现网络输入的立方体数据大小为27×27×n (n为光谱带), 学习率为1E–4, 网络的批尺寸大小为128, 最大迭代次数为3×10⁴时分类效果最好. 实验中优化器采用Adam, 损失函数为间隔损失函数, 表达式如式(5):

$ {L_k} = {T_k}\max {(0, {m^ + } - \left\| {{v_k}} \right\|)^2} + \lambda (1 - {T_k})\max {(0, \left\| {{v_k}} \right\| - {m^ - })^2} $

(5)

其中, $ {v_k} $ 表示胶囊 $ k $ 的输出向量, $ {T_k} $ 表示类是否存在, 若像素类别被识别则 $ {T_k} = 1 $ , 否则 $ {T_k} = 0 $ , $ {m^ + } $ 和 $ {m^ - } $ 为默认参数, 分别设为0.9和0.1, $ \lambda $ 为超参数, 设置为0.5.

3 实验结果及分析 3.1 数据集介绍

实验中使了3个开源的真实高光谱数据集作为研究对象, 分别是Indian Pines数据集、Salinas数据集和Pavia Center数据集.

Indian Pines数据集是由机载可见红外成像光谱仪收集的美国印第安纳州一块农业区图像. 图像大小为145像素×145像素, 光谱覆盖范围为0.4–2.5 μm, 空间分辨率为20 m. 采集的所有220个光谱带中, 有20个光谱带因受噪声影响而被丢弃. 图像共包含21025个像素点, 其中, 10776个像素点为背景像素. 在实际分类中, 背景像素被移除, 剩余的10249个像素是地面目标像素, 共有16个类, 均为农作物. 图4显示了Indian Pines数据集的伪彩图和样本标签.

Salinas数据集是由机载可见红外成像光谱仪捕捉到的萨利纳斯山谷的图像. 图像大小为512像素×217像素. 光谱覆盖范围为0.4–2.5 μm, 空间分辨率为3.7 m. 共采集到224个光谱带, 但其中20个光谱带受噪声影响而被剔除. 萨利纳斯山谷的图像共包含111104个像素, 其中54129个像素包含地物, 共有16种地面物体. 图5显示了Salinas数据集的伪彩图和样本标签.

Pavia Center数据集是由机载反射光谱成像仪收集的帕维亚市中心的图像. 图像大小为1096像素×492像素. 光谱覆盖范围为0.43–0.86 μm, 空间分辨率为1.3 m. 去除13个噪声波段后剩余102个光谱带用于研究. 帕维亚市中心的图像共包含539232个像素, 只有7456个像素包含地物, 共有9种地面物体. 图6显示了Pavia Center数据集的伪彩图和样本标签.

3.2 分类评价指标

为了展示高光谱图像分类方法的性能, 通常采用总体精度(OA)、平均精度 (AA)和Kappa系数这3个指标进行衡量. 3个指标均是根据高光谱图像分类的混淆矩阵得到的. 混淆矩阵用于判断分类输出结果与真实标签是否一致, 如式(6)所示, 主对角线上的值表示该类样本被正确分类的数量, 其余的值都是被错误分类的样本.

$ C{\text{ = }}\left[ {\begin{array}{*{20}{c}} {{c_{11}}}& \cdots &{{c_{1i}}}&{{c_{1j}}}& \cdots &{{c_{1r}}} \\ \vdots & \ddots &{}&{}&{}& \vdots \\ {{c_{i1}}}&{}&{{c_{ii}}}&{{c_{ij}}}&{}&{{c_{ir}}} \\ {{c_{j1}}}&{}&{{c_{ji}}}&{{c_{jj}}}&{}&{{c_{jr}}} \\ \vdots &{}&{}&{}& \ddots & \vdots \\ {{c_{r1}}}& \cdots &{{c_{ri}}}&{{c_{rj}}}& \cdots &{{c_{rr}}} \end{array}} \right] $

(6)

其中, $ {c_{ii}} $ 表示第 $ i $ 类样本中被正确分类的数量, $ {c_{ij}} $ 表示样本中第 $ i $ 类被分到第 $ j $ 类的个数, $ r $ 为样本总类别数.

OA是指图像中被正确分类的像元的个数在整个图像中所占的百分比, 通过该指标可以直观看出分类结果的好坏, 其定义如式(7):

$ OA = \dfrac{{\displaystyle \sum\limits_{i = 1}^r {{c_{ii}}} }}{N} \times 100{\text{%}} $

(7)

AA是指各类别分类精度的平均值, 可以衡量类别对分类精度的影响, 其定义如式(8):

$ AA = \dfrac{{\displaystyle \sum\limits_{i = 1}^r {\dfrac{{{c_{ii}}}}{{{c_{ + i}}}}} }}{N} \times 100{\text{%}} $

(8)

Kappa系数充分考虑了不确定性对分类结果的影响, 用来检验一致性程度, 可以客观的衡量分类的整体结果, 其定义如式(9):

$ {\textit{Kappa}} = \dfrac{{N \displaystyle \sum\limits_{i = 1}^r {{c_{ii}} - \sum\limits_{i = 1}^r {({c_{i + }} \times {c_{ + i}})} } }}{{{N^2} - \displaystyle \sum\limits_{i = 1}^r {({c_{i + }} \times {c_{ + i}})} }} $

(9)

其中, $ N $ 代表总样本数, $ {c_{i + }} $ 表示第 $ i $ 类的真实像元数, $ {c_{ + i}} $ 表示预测时被分为第 $ i $ 类的像元数.

3.3 实验平台与环境

实验运行的操作系统是Windows 10, 图形处理器GPU为 NVIDIA GTX 1080Ti GPU. 深度学习平台框架选用的是Python 3.5+TensorFlow. 由于原始数据是mat格式, 因此先通过Matlab软件对数据进行分析并生成伪彩图进行可视化研究.

3.4 实验对比分析

将本文所提出的多尺度3D胶囊网络与比较先进的SSRN^[8]、3DMSCNNS^[9]、CAP^[10]及DCCN^[11]网络进行对比. SSRN是一个端到端的光谱空间残差网络, 该网络以原始三维立方体作为输入数据, 无需进行特征工程即可用于高光谱遥感图像分类. 3DMSCNNS是一种基于多尺度卷积的卷积神经网络, 通过从高光谱遥感图像中提取深层多尺度特征来解决高光谱遥感图像大类内方差和低类间方差的问题. CAP是一种基于光谱空间特征的胶囊网络, 该网络由多个胶囊块组成, 这些胶囊块能够学习高光谱遥感图像场景中地物的空间位置、光谱特征以及可能的变换特征. DCCN是一种改进的胶囊网络, 称为卷积胶囊网络, 该网络结构中使用了局部连接和共享变换矩阵, 代替原始胶囊网络的全连接, 这样可训练参数的数量减少, 可以在训练样本数量有限时缓解过拟合问题来实现高光谱遥感图像的高精度分类.

为便于定量比较, 实验时选取与前面提到的几个高光谱遥感图像分类方法相同数量的训练样本, 每一类随机选取200个标记样本组成训练集用于训练, 近邻块的大小统一为27像素×27像素. 实验中训练每个神经元的权重和偏置, 以及两个连续的胶囊之间的变换矩阵等. 训练结束后, 使用其余样本测试模型性能, 几个不同的分类方法在每个数据集上都重复10次实验, 最后结果以“均值±方差”的形式给出. 表1展示了不同分类方法在3个数据集上的OA、AA以及Kappa系数指标. 可以看出, 本文提出的网络在3个有限样本的数据集中的3个指标均高于其他网络, 说明本文方法能更充分的提取高光谱遥感图像中的光谱、空间特征及其更高层次的关联特征, 同时减少了有限训练样本下的过拟合问题.

图7–图9给出了本文网络和所对比网络的分类结果图, 各子图分别为真实标签、SSRN、3DMSCNNS、CAP、DCCN和本文方法的结果图, 从画虚线圈的地方可以看出SSRN和3DMSCNNS未能充分利用高光谱图像的空间关联信息, 在小样本下特征提取不充分, 使得分类效果不佳. CAP和DCCN通过胶囊网络能够有效提取光谱和空间信息, 但在边界处容易出现分类错误的现象. 本文的网络能够更好地提取空间关联特征并有效改善边界分类效果, 分类结果图中错误分类点较少, 大多数类别能达到100%.

综上所述, 相比SSRN方法, 本文方法能有效减少特征提取过程中空谱信息的丢失. 相比3D多尺度卷积神经网络3DMSCNNS, 本文方法利用胶囊网络表征地物信息的能力要强于标量的神经元. 相比胶囊网络CAP和深度卷积胶囊网络DCCN, 本文方法整合不同尺度的信息有助于增强提取信息的能力. 从实验结果对比图来看, 相比其他比较先进的网络, 本文的网络更进一步提高了高光谱遥感图像分类精度.

3.5 网络参数分析

在实验中, 分析一个参数对分类结果的影响时, 通常采用改变一个参数固定其他参数来观察相应的性能. 从第2.2节参数配置中可以看出近邻块的大小和训练样本数量是两个非常关键的参数, 直接影响高光谱遥感图像分类精度.

多尺度3D胶囊网络中, 网络输入的是像素点周围的近邻块区域, 邻域块大小是影响分类效果的一个重要的因素. 本文进行了多次实验比较邻域块大小对分类精度的影响. 如表2所示, 图像块太小可能提取的光谱和空间信息不足, 图像块太大可能出现过拟合现象, 可以看出27像素×27像素大小的图像块效果最好.

训练样本数量对分类精度也有很大的影响. 本文分析了不同训练样本数对3个数据集的影响. 如表3所示, 选择100, 150, 200, 250个样本进行训练, 可以看出训练样本数越多则分类精度越高. 本文为了做对比实验, 选择跟其他网络一样的训练样本数200. 然而, 这几个数据集存在类不平衡的问题, 部分类别中总样本数小于200, 这样该类别的所有样本将会全部拿来被训练也不足200个样本, 训练样本不足可能会使网络训练效果不好, 且这些类别无法有测试样本拿来被测试, 会导致这一类分类精度达百分之百的现象.

4 结论与展望

本文提出了基于多尺度3D胶囊网络的高光谱遥感图像分类方法, 在小样本条件下能充分提取图像的光谱、空间及其关联特征. 该方法针对高光谱遥感图像细节丰富、特征维数较高以及可用样本有限的特点, 通过设计多尺度特征提取, 并结合胶囊网络能有效挖掘空谱间关联信息的优点, 从而提升网络的分类能力. 在Indian Pines、Salinas和Pavia Center三个开源的数据集上的实验结果验证了该方法相比其他先进的方法具有良好的分类性能. 本文算法的不足在于参数量较多, 导致运行速率较慢, 为了在提高分类性能的同时加快运行速率, 今后将考虑减少网络参数, 设计轻量有效的模型作为下一步研究方向.