为解决有限训练样本下的高光谱遥感图像分类特征提取不充分的问题, 该论文提出了多尺度3D胶囊网络方法来助力高光谱图像分类. 相比传统的卷积神经网络, 所提出的网络具有等变性且输入输出形式都是向量形式的神经元而非卷积神经网络中的标量值, 有助于获取物体之间的空间关系及特征之间的相关性, 且在有限训练样本下能避免过拟合等问题. 该网络通过3种不同尺度的卷积核操作对输入图像进行特征提取来获取不同尺度的特征. 然后3个分支分别接不同的3D胶囊网络来获取空谱特征之间的关联. 最后将3个分支得到的结果融合在一起, 采用局部连接并通过间隔损失函数得到分类结果. 实验结果表明, 该方法在开源的高光谱遥感数据集上具有很好的泛化性能, 且相比其他先进的高光谱遥感图像分类方法具有较高的分类精度.
Considering the insufficient feature extraction in hyperspectral remote sensing image classification under limited training samples, a multi-scale 3D capsule network is proposed to improve hyperspectral image classification. Compared with the traditional convolutional neural network, the proposed network is equivariant, and its input and output forms are neurons in the form of vectors rather than scalar values in the convolutional neural network. It is conducive to obtaining the spatial relationship between objects and the correlation between features and can avoid problems such as overfitting under limited training samples. Specifically, the network extracts the features of an input image through the convolution kernel operation on three scales to obtain the features of different scales. Then, the three branches are connected to different 3D capsule networks to obtain the correlation between spatial spectrum features. Finally, the results of the three branches are fused, and the classification results are obtained by the local connection and margin loss function. The experimental results reveal that this method has good generalization performance on the open-source hyperspectral remote sensing data set and has higher classification accuracy than other advanced hyperspectral remote sensing image classification methods.
近年来, 随着遥感技术的发展, 高光谱图像分类作为遥感研究领域的一项重要任务得到众多研究者的关注. 与传统的RGB图像相比, 高光谱图像除了能够获取地物的空间信息外, 还能够捕获从可见光到红外光的数百个光谱波段, 这些丰富的光谱信息更有助于区分不同的地物. 因此, 高光谱图像分类在农业、地质、军事、海洋、大气环境研究以及城市发展等诸多方面得到了广泛的应用[
在过去几十年中, 高光谱遥感图像分类方法主要关注光谱信息, 研究者提出了许多特征提取方法来提取不同的光谱特征, 但忽略了相邻像素之间的空间关系, 传统方法包括K近邻、最大似然、逻辑回归和支持向量机(SVM)等, 然而仅通过单一的光谱信息很难区分不同的类别. 近年来, 深度学习在各个领域取得了显著的成绩, 由于其能够提取高级语义特征, 因此成为了高光谱图像分析的新趋势. Chen等人使用堆叠式自动编码器在特征降维后提取高级特征[
胶囊网络[
胶囊网络的基本结构如
其中,
胶囊网络的基本结构
胶囊网络的输出是一类物体的向量表示, 当物体平移、旋转或尺度发生变化时, 胶囊的输出向量长度可能不会发生很大的变化. 因此, 胶囊网络在整个过程中可以得到更强的鲁棒性表示.
多尺度卷积神经网络相比单一尺度的卷积神经网络在提取丰富图像特征的同时能够保留图像信息, 增强算法对干扰因素的鲁棒性[
多尺度卷积神经网络
胶囊网络能够有效处理有限训练样本的数据并能捕获特征之间的相关性, 但是低层特征提取通过单一尺度的卷积神经网络获得, 其特征表示能力有限. 已有研究表明, 多尺度卷积核结构能够获得更好的分类结果[
网络整体流程图
首先是多尺度卷积部分, 多尺度卷积核实现了并行卷积, 使得多尺度特征提取成为可能. 此外, 并行方法可以增加网络的宽度, 对提高模型的表示能力具有积极作用. 从高光谱图像提取得到27×27×200的近邻块, 经两次多尺度3D卷积得到特征映射, 第1层3D卷积核的大小分别为1×1×1, 3×3×3, 5×5×5, 第2层3D卷积核的大小分别为1×1×200, 3×3×200, 5×5×200, 步长均为1, 3个不同尺度分支的通道数分别为64, 128, 256, 卷积后通过PReLU函数激活, 得到输出大小分别为27×27, 23×23, 19×19的特征图.
其次是主胶囊部分, 通过8组步长为2的9×9×32大小的卷积核进行卷积计算, 然后将输出结果拉平, 3个不同尺度的分支分别得到3200, 2048和1152个胶囊, 每个胶囊是8维向量.
然后是数字胶囊部分, 主胶囊部分输出的向量作为数字胶囊的输入, 利用8×6的变换矩阵做线性变化, 得到1×6的向量. 数字胶囊部分的胶囊数量等于类别总数, 由于该数据集有16个类别, 因此高层有16个胶囊, 则3个变换矩阵维度分别为(8, 6, 3200, 16), (8, 6, 2048, 16), (8, 6, 1152, 16), 对得到的向量加权相加后, 将3种尺度叠加得到高层胶囊为16×18维, 并用非线性压缩函数激活这些向量用于预测输出, 向量的模长越大, 输入的数据则越有可能属于这一类.
最后是局部连接部分, 是对数字胶囊部分输出的向量进行重构, 以往的胶囊网络包含全连接胶囊层, 会产生大量的训练参数导致有限的训练样本出现过拟合问题, 本文利用局部连接缓解了高光谱图像分类中的过拟合问题. 经局部连接得到输出结果后通过间隔损失函数惩罚错误的识别结果, 通过迭代训练后得到最优分类结果.
实验数据集中每类随机选取200个像素点组成训练集用于训练所提出的网络, 通过改变目标参数固定其余参数的方式多次调参训练, 发现网络输入的立方体数据大小为27×27×
其中,
实验中使了3个开源的真实高光谱数据集作为研究对象, 分别是Indian Pines数据集、Salinas数据集和Pavia Center数据集.
Indian Pines数据集是由机载可见红外成像光谱仪收集的美国印第安纳州一块农业区图像. 图像大小为145像素×145像素, 光谱覆盖范围为0.4–2.5 μm, 空间分辨率为20 m. 采集的所有220个光谱带中, 有20个光谱带因受噪声影响而被丢弃. 图像共包含21025个像素点, 其中, 10776个像素点为背景像素. 在实际分类中, 背景像素被移除, 剩余的10249个像素是地面目标像素, 共有16个类, 均为农作物.
Indian Pines数据集
Salinas数据集是由机载可见红外成像光谱仪捕捉到的萨利纳斯山谷的图像. 图像大小为512像素×217像素. 光谱覆盖范围为0.4–2.5 μm, 空间分辨率为3.7 m. 共采集到224个光谱带, 但其中20个光谱带受噪声影响而被剔除. 萨利纳斯山谷的图像共包含111104个像素, 其中54129个像素包含地物, 共有16种地面物体.
Salinas数据集
Pavia Center数据集是由机载反射光谱成像仪收集的帕维亚市中心的图像. 图像大小为1096像素×492像素. 光谱覆盖范围为0.43–0.86 μm, 空间分辨率为1.3 m. 去除13个噪声波段后剩余102个光谱带用于研究. 帕维亚市中心的图像共包含539232个像素, 只有7456个像素包含地物, 共有9种地面物体.
为了展示高光谱图像分类方法的性能, 通常采用总体精度(
其中,
Pavia Center数据集
其中,
实验运行的操作系统是Windows 10, 图形处理器GPU为 NVIDIA GTX 1080Ti GPU. 深度学习平台框架选用的是Python 3.5+TensorFlow. 由于原始数据是mat格式, 因此先通过Matlab软件对数据进行分析并生成伪彩图进行可视化研究.
将本文所提出的多尺度3D胶囊网络与比较先进的SSRN[
为便于定量比较, 实验时选取与前面提到的几个高光谱遥感图像分类方法相同数量的训练样本, 每一类随机选取200个标记样本组成训练集用于训练, 近邻块的大小统一为27像素×27像素. 实验中训练每个神经元的权重和偏置, 以及两个连续的胶囊之间的变换矩阵等. 训练结束后, 使用其余样本测试模型性能, 几个不同的分类方法在每个数据集上都重复10次实验, 最后结果以“均值±方差”的形式给出.
Indian Pines数据集上不同分类方法的结果对比
数据集 | 指标 | SSRN | 3DMSCNNS | CAP | DCCN | 本文方法 |
Indian Pines | 92.95±2.50 | 93.66±1.76 | 95.48±0.83 | 98.55±0.58 | 98.72±0.87 | |
92.14±2.78 | 93.94±1.59 | 95.64±0.87 | 98.47±0.41 | 99.01±0.27 | ||
91.99±3.11 | 93.03±1.98 | 95.18±0.95 | 98.38±0.70 | 98.66±0.31 | ||
Salinas | 91.16±1.64 | 92.03±1.34 | 94.86±1.63 | 97.92±0.30 | 98.69±0.37 | |
93.59±2.35 | 93.60±1.77 | 93.49±3.15 | 96.21±1.87 | 98.61±0.47 | ||
90.16±1.82 | 91.23±1.45 | 94.24±1.83 | 97.68±0.34 | 98.66±0.70 | ||
Pavia Center | 97.33±1.07 | 98.82±1.34 | 98.89±1.00 | 99.61±0.24 | 99.93±0.06 | |
97.10±1.49 | 98.63±0.77 | 98.88±0.47 | 99.24±0.20 | 99.87±0.10 | ||
96.28±1.34 | 98.55±0.77 | 98.74±0.63 | 99.44±0.25 | 99.86±0.11 |
不同网络在Indian Pines数据集上的分类图
不同网络在Salinas数据集上的分类图
综上所述, 相比SSRN方法, 本文方法能有效减少特征提取过程中空谱信息的丢失. 相比3D多尺度卷积神经网络3DMSCNNS, 本文方法利用胶囊网络表征地物信息的能力要强于标量的神经元. 相比胶囊网络CAP和深度卷积胶囊网络DCCN, 本文方法整合不同尺度的信息有助于增强提取信息的能力. 从实验结果对比图来看, 相比其他比较先进的网络, 本文的网络更进一步提高了高光谱遥感图像分类精度.
不同网络在Pavia Center数据集上的分类图
在实验中, 分析一个参数对分类结果的影响时, 通常采用改变一个参数固定其他参数来观察相应的性能. 从第2.2节参数配置中可以看出近邻块的大小和训练样本数量是两个非常关键的参数, 直接影响高光谱遥感图像分类精度.
多尺度3D胶囊网络中, 网络输入的是像素点周围的近邻块区域, 邻域块大小是影响分类效果的一个重要的因素. 本文进行了多次实验比较邻域块大小对分类精度的影响. 如
不同近邻块大小在3个数据集上的总体精度 (%)
图像块尺寸 | Indian Pines | Salinas | Pavia Center |
21×21 | 98.57±0.13 | 98.32±0.78 | 99.89±0.14 |
25×25 | 98.69±0.66 | 98.54±0.24 | 99.93±0.06 |
27×27 | 98.72±0.87 | 98.69±0.37 | 99.93±0.06 |
29×29 | 98.61±0.11 | 98.65±0.25 | 99.90±0.12 |
训练样本数量对分类精度也有很大的影响. 本文分析了不同训练样本数对3个数据集的影响. 如
不同训练样本数在3个数据集上的总体精度 (%)
每类训练样本数 | Indian Pines
|
Salinas
|
Pavia Center
|
100 | 97.88±0.21 | 96.96±0.29 | 98.98±0.15 |
150 | 98.59±0.12 | 98.44±0.57 | 99.85±0.09 |
200 | 98.72±0.87 | 98.69±0.37 | 99.93±0.06 |
250 | 98.77±0.68 | 98.70±0.42 | 99.94±0.06 |
本文提出了基于多尺度3D胶囊网络的高光谱遥感图像分类方法, 在小样本条件下能充分提取图像的光谱、空间及其关联特征. 该方法针对高光谱遥感图像细节丰富、特征维数较高以及可用样本有限的特点, 通过设计多尺度特征提取, 并结合胶囊网络能有效挖掘空谱间关联信息的优点, 从而提升网络的分类能力. 在Indian Pines、Salinas和Pavia Center三个开源的数据集上的实验结果验证了该方法相比其他先进的方法具有良好的分类性能. 本文算法的不足在于参数量较多, 导致运行速率较慢, 为了在提高分类性能的同时加快运行速率, 今后将考虑减少网络参数, 设计轻量有效的模型作为下一步研究方向.
Hsieh TH, Kiang JF. Comparison of CNN algorithms on hyperspectral image classification in agricultural lands. Sensors, 2020, 20(6): 1734, doi: 10.3390/s20061734.
陈章林, 杨刚, 杨莎莎, 等. 基于高光谱高分融合数据在喀斯特地貌环境下的林分分类. 科技和产业, 2021, 21(8): 319–327.
Shimoni M, Haelterman R, Perneel C. Hypersectral imaging for military and security applications: Combining myriad processing and sensing techniques. IEEE Geoscience and Remote Sensing Magazine, 2019, 7(2): 101–117.
Liu C, Xing CZ, Hu QH, et al. Stereoscopic hyperspectral remote sensing of the atmospheric environment: Innovation and prospects. Earth-Science Reviews, 2022, 226: 103958.
Cai JN, Chen J, Dou XH, et al. Using machine learning algorithms with in situ hyperspectral reflectance data to assess comprehensive water quality of urban rivers. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 5523113, doi: 10.1109/TGRS.2022.3147695.
Chen YS, Lin ZH, Zhao X, et al. Deep learning-based classification of hyperspectral data. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(6): 2094–2107.
Yue J, Zhao WZ, Mao SJ, et al. Spectral–spatial classification of hyperspectral images using deep convolutional neural networks. Remote Sensing Letters, 2015, 6(6): 468–477, doi: 10.1080/2150704x.2015.1047045.
Zhong ZL, Li J, Luo ZM, et al. Spectral–spatial residual network for hyperspectral image classification: A 3-D deep learning framework. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(2): 847–858, doi: 10.1109/TGRS.2017.2755542.
Gong ZQ, Zhong P, Yu Y, et al. A CNN with multiscale convolution and diversified metric for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(6): 3599–3618, doi: 10.1109/TGRS.2018.2886022.
Zhu KQ, Chen YS, Ghamisi P, et al. Deep convolutional capsule network for hyperspectral image spectral and spectral-spatial classification. Remote Sensing, 2019, 11(3): 223, doi: 10.3390/rs11030223.