高光谱图像 (hyperspectral imagery, HSI)的光谱分辨率可达纳米级, 分辨率越高, 地物信息越详细, 越有利于地物区分. 与多光谱图像相比, 高光谱图像在光谱维度上包含更多的波段数量, 富含更多地物特质, 但也存在大量噪声以及数据冗余的问题. 高光谱图像不仅光谱数量多, 空间信息也十分丰富, 因此, 对于地物分类而言, 通过提取高光谱图像的空间特征和光谱特征, 可有效实现地面物体的识别及区分. 目前, 高光谱图像在城市遥感^[1]、目标检测^[2]、海洋应用^[3]以及变化检测^[4]等领域都有很好的应用, 高光谱图像分类已成为一个研究热点.

高光谱图像分类为高光谱应用研究奠定了基础, 如何对高光谱图像中的每个像素进行快速准确的判别是主要研究的问题. 不同地物具有不同的光谱曲线, 最初期一些基于机器学习的利用光谱特征和数据统计特征传统的方法被应用于分类任务中, 包括最近改进的K近邻算法 (K nearest neighbors, KNN)^[5]、支持向量机 (support vector machines, SVM)^[6]、稀疏表示分类 (sparse representation, SR)^[7]、随机森林 (random forest, RF)^[8]等. 但是上述方法都存在一个共同的问题, 即利用光谱信息对像素进行分类, 没有考虑光谱空间相关性. 这样出现的一个问题就是属于某一类像素的光谱信息很可能与其他类别像素的光谱信息混合在一起, 另外一个问题就是在较小的样本也很难学习出一个高精度的分类器, 也就是著名修斯现象^[9], 仅浅层特征提取会导致分类精度差强人意. 基于深度学习的方法克服了提取浅层特征的局限性, 在提取深层和非线性特征方面具有优势, 因此被逐渐应用在高光谱图像分类任务中, 如深度信念网络 (deep belief network, DBN)^[10]和栈式自编码器 (stacked autoencoder, SAE)^[11]以及卷积神经网络 (convolutional neural network, CNN). DBN和SAE这两种方法的局限性在于网络模型的输入要求是一维数据, 使得原本二维空间向量被迫变换成一维向量, 从而造成空间信息的丢失. 卷积神经网络广泛应用于图像处理和模型识别等方面, CNN和前两者相比, 能够在不破坏空间结构的前提下提取空间特征, 因此很多CNN的方法更广泛引入到高光谱图像分类. 邬国栋^[12]针对小样本高光谱数据样本少的问题采用像素对匹配的方式增加样本, 最后采用一维卷积神经网络 (one-dimensional convolutional neural network, 1D-CNN)对高光谱图像进行分类, 但它的局限性在于1D-CNN只能提取光谱维度上的特征, 忽略了空间信息. Xu等人^[13]提出使用RPNet (random patches network)模型提取高光谱图像特征, 首先使用一些降维算法对图像进行预处理, 然后将图像中的随机块直接作为卷积核, 无需训练, 使其拥有了多尺度、耗时少优点. 比较常用的降维算法为主成分分析 (principal component analysis, PCA), 但是PCA降维的方法是通过线性变换来提取很多相似样本的相似信息, 而高光谱数据本质上是非线性的, 所以PCA会导致丢失很多有用信息. 本文选用因子分析 (factor analysis, FA)的降维方法, 原因在于其能够反映出不同相关光谱和重叠光谱的差异性, 有助于模型更好地对相似样本进行分类, 且它是非线性变换. 针对同一类别像素的光谱特征方差较大时分类效果非常不理想这一问题, Li等人^[14]提出一种基于自动聚类的双通道CNN, 首先在光谱维通过自动聚类的方法降低类间方差, 然后用CNN提取光谱维信息. 实验结果证明该方法针对光谱信息类内方差较大的物质有很好的区分效果. 传统单一的2D-CNN更多地关注了图像空间信息, 但在一定程度上造成光谱特定信息丢失. 三维卷积神经网络 (three-dimensional convolutional neural network, 3D-CNN)^{[15, 16]}可以分别从图像空间和光谱维度上提取到特征, 相比单一1D-CNN和2D-CNN模型而言它可以明显提高分类精度. Zhong等人^[17]基于3D-CNN提出光谱-空间残差网络 (SSRN), 促进了梯度的反向传播, 同时提取到了更深层次的光谱特征, 缓解了深度学习模型精度下降的问题. 混合像元这一问题一直存在于高光谱图像分类任务, Gao等人^[18]对3D-CNN进行改进并提出了一种基于谱特征增强的“三明治”卷积模型 (sandwich CNN based on spectral feature enhancement), 可以提取更加抽象的谱特征以抑制混合像元的干扰, 特别是在面对低分辨率遥感图像时效果提升更加明显. 针对单一网络模型对小样本高光谱数据特征提取有限、模型计算量大这一问题, Roy等人^[19]提出了2D-CNN和3D-CNN的混合卷积神经网络 (HybridSN), 3D-CNN有助于获取高光谱图像空间光谱联合特征, 2D-CNN进一步学习更加抽象的空间特征表达, 降低了模型的复杂度, 在小样本数据上具有比单一3D-CNN更好的分类性能.

近年来, 注意力机制^{[20, 21]}被引入到卷积神经网络中, 使得模型能够有选择地识别目标特征, 忽略一些对分类无用的信息. Li等人^[22]提出一种双支双注意力机制网络 (double-branch dual-attention mechanism network, DBDA), 双支分别提取光谱和空间特征来减少之间的干扰, 并在各自分支添加注意力机制确保更加有效利用光谱空间特征, 最后通过特征融合完成分类. Wu等人^[23]进一步提出了双支空谱注意力机制网络, 设计了带有注意力模块的双支并行3D-CNN模型, 一支为专注于提取光谱特征并自适应于学习较强的光谱通道, 另一支为专注于探索空间特征并自适应学习较强的空间结构, 最后将双支3D-CNN提取到的特征进行融合, 通过分类器完成图像分类. Sun等人^[24]提出了一种光谱空间注意力网络 (SSAN), 引入注意力模块抑制干扰像素的影响, 提取出对分类有较大贡献的光谱空间特征. 尽管上述深度学习方法取得了不错的分类性能, 但是基于3D-CNN的模型参数需要大量训练成本, 计算成本也大, 应用不够广泛, 另一方面多数模型卷积核比较单一, Qing等人^[25]提出了多尺度残差注意力机制网络结构, 该神经网络嵌入了Wang等人^[26]提出的轻量级改进的通道注意机制, 即高效通道注意网络(ECA-NET), 使用局部跨通道交互而不降维, 有效地提取了图像的空间特征和光谱特征, 减少了训练样本信息的冗余. 利用不同尺度和大小的卷积核和新的残差结构, 多次提取图像的空间谱特征, 在小样本数据集上表现出不错的泛化能力, 但特征融合能力仍然可以进一步提高, 在小样本及样本数量较多的复杂区域分类精度仍有提升空间.

针对上述问题, 本文提出了一种用于高光谱图像分类任务的基于小波变换的多尺度多分辨率注意力卷积模型 (WTCAN). 为了减少原始数据的冗余度、训练时间, 使用因子分析 (FA)的方法对光谱波段进行降维. 为了降低提取重要光谱特征网络的计算量和复杂度, 采取Harr小波变换层次变换思想获取有效波段信息. 为了充分提取空间纹理结构和细节信息, 本文设计了逆向跳跃网络结构的空间信息提取模块, 利用设计的网络结构学习高光谱图像的空间位置特征, 创建得到空间光谱向量, 引入金字塔注意力机制, 采用多尺度分组卷积来提取光谱-空间特征, 通过多尺度卷积既能提取全局信息, 又能关注到局部信息, 可以增强高光谱图像特征的表达性, 提高网络性能.

1 背景知识 1.1 多分辨率小波变换

小波卷积神经网络是小波变换与卷积神经网络的结合. 为了能够给图像去噪, 充分获取高光谱图像的纹理和细节信息, 采用多分辨率Harr小波分解对光谱信息提取. 二维图像Harr变换通过低通和高通滤波器从水平和竖直两个方向上进行分解, 图像的一次Harr分解过程如图1所示: 光谱降维之后的图像实质上是一个矩阵, 首先沿着矩阵的每一行做一维Harr变换, 其次沿着矩阵每一列做一维Harr变换, 得到4个子图, 分别表示数字图像的近似信息、水平细节信息、垂直细节信息、对角细节信息, 重复上述步骤完成层次划分. 本文采用4次Harr小波层次变换提取光谱特征.

二维Harr小波利用以下4个核 $f_{\text{L,L}}, f_{\text{L,H}}, f_{\text{H,L}}, f_{\text{H,H}}$ 进行小波变换.

$ \begin{gathered} {f_{{\rm{L, L}}}} = \left( {\begin{array}{*{20}{c}} 1&1 \\ 1&1 \end{array}} \right), \; {f_{{\rm{L, H}}}} = \left( {\begin{array}{*{20}{c}} { - 1}&{ - 1} \\ 1&1 \end{array}} \right), \\ {f_{{\rm{H, L}}}} = \left( {\begin{array}{*{20}{c}} { - 1}&1 \\ { - 1}&1 \end{array}} \right), \; {f_{{\rm{H, H}}}} = \left( {\begin{array}{*{20}{c}} 1&{ - 1} \\ { - 1}&1 \end{array}} \right) \\ \end{gathered} $

假设在Harr变换之前高光谱图像块x大小为 $ S \times S $ , $ (i, j) $ 表示光谱位置, Harr变换公式可以记作:

$ \begin{split} Harr(i, j) =& x(2i - 1, 2j - 1) + x(2i - 1, 2j) \\ & + x(2i, 2j - 1) + x(2i, 2j) \end{split} $

(1)

1.2 EPSABlock

Zhang等人^[27]引入基于SENet模块^[28]的金字塔注意力模块, 自适应对通道注意力权重进行调整. 为了从不同尺度上建立更长距离的光谱通道之间关系, 丰富多尺度特征表达, 在卷积层之后添加金字塔注意力模块.

EPSABlock如图2所示, 输入特征input依次经过1×1卷积、PSA模块, 1×1卷积, 并将最后结果矩阵与原输入特征input矩阵相加得到最终特征图.

金字塔注意力机制模块 (pyramid split attention, PSA)模块如图3所示, input经过SPC (split and concat)模块后得到多尺度融合特征图, SPC过程会在下一段落详细阐述. 之后经过SE模块通过波谱通道注意力权重计算得到一个输出.

$ {Z_i} = {\textit{SE}}({F_i}),\;i = 0, 1, 2, \cdots,\;M - 1 $

(2)

其中, ${F_i}$ 即表示多尺度特征融合图, $M$ 表示特征图数量. 进一步使用 ${\textit{Softmax}} $ 进行权重重标定.

$ \textit{Softmax} ({Z_i}) = \frac{{\exp ({Z_i})}}{{\displaystyle\sum\limits_{i = 0}^{ M - 1} {\exp ({Z_i})} }} $

(3)

将M个特征图沿着波谱通道进行拼接, 输出一个信息更为丰富的空谱特征向量.

PSA最重要组成部分即为SPC模块, 如图4所示. 对于特征图x按照波谱数量将其切割成M个部分. 如果x的波谱数量为 $ B $ , 每一部分的波谱数量 $C = B/M$ , 每一部分特征图满足 ${x_i} \in {R^{h, w, C}},\;i = 0, 1, 2, \cdots ,M - 1$ , 每一部分使用多尺度分组卷积提取不同空间信息, 其中, 分组卷积可以降低网络参数量卷积计算输出.

$ {F_i} = Conv({K_i}, {G_i})({x_i}),\;i = 0, 1, \cdots, M - 1 $

(4)

其中, $ {K_i} $ 代表卷积核大小, ${G_{{i}}}$ 代表group大小, $ {G_i} = {2^{\frac{{{K_i} - 1}}{2}}} $ , 最终结果特征图按照维度拼接, 即:

$ F = concat({F_0}, {F_1}, \cdots, {F_{M - 1}}) $

(5)

2 本文方法 2.1 整体架构

WTCAN模型整体架构设计如图5所示, 该模型基于小波卷积神经网络对高光谱图像提取空谱特征. 假设高光谱数据的输入维度为 $ M \times N \times R $ , $ M $ 、 $ N $ 、 $ R $ 分别表示高光谱数据的空间大小和波段数量. 数据预处理过程使用因子分析的降维方法, 降维后数据维度变为 $ M \times N \times B $ , $ B $ 表示降维后的波段数量. 图5网络模型以Indian Pines数据为例, 选择大小为 $ S \times S \times B $ 的HSI图像块作为网络模型输入, 对图像块作4次小波变换处理, 通过光谱波段叠加串联, 可以得到4个不同空间尺度大小高光谱数据块, 光谱降维之后维度为3, 然后将其输入到空间信息提取模块, 空间信息提取模块中得到的特征图在通道上进行级联, 逆向跳跃连接地网络结构也达到了空间信息融合的效果, 同时在卷积层中添加金字塔注意力模块从多尺度提取纹理和空间特征, 通过金字塔注意力模块的SPC模块从多尺度集成输入特征图信息, 能够有效地从每一个通道特征图提取不同尺度空间信息, 更精确地合并相邻尺度的上下文特征, 然后利用通道注意力权重构建跨维度交互, 最后通过Softmax重新校准相应通道的注意力权重, 进而获取到空间光谱融合向量, 最终经过全局平均池化, 将其输入到全连接层, 实现像素分类. 卷积核大小设置为3×3, padding设置为1, 池化选用最大池化, 同时使用dropout层避免过拟合, 最后通过Softmax得到最终分类结果.

2.2 空间信息提取模块

本文设计的空间信息提取模块结构如图6所示, 假设输入特征 $ {x_0} \in {R^{{h_0}, {w_0}, c}} $ , 其中, ${h_0} = {w_0},\; c = 3$ . $h$ , $w$ 表示空间的高度和宽度, $c$ 代表降维后波段数量. 小波变换 $ {x_i} $ 的输出大小为:

$ {x_i} = \left\{ \begin{gathered} {x_{\text{i}}} \in {R^{{h_i}, {w_{_i, }}4c}},\qquad i = 0 \\ {x_i} \in {R^{\frac{{{h_{i - 1}}}}{2}, \frac{{{w_{i - 1}}}}{2}, 4c}},\; i = 1, 2, 3, 4 \\ \end{gathered} \right. $

(6)

经过小波变换之后得到 ${x_1}$ 、 ${x_2}$ 、 $ {x_3} $ 、 ${x_4}$ 这4个分辨率不同的特征图, 对 ${x_1}$ 、 ${x_2}$ 、 ${x_3}$ 作最大池化处理, 既能够保留更多图像纹理信息, 也能减少网络参数量, 再各自通过卷积提取空间信息, 进而捕捉空谱信息, 本文使用3×3卷积核提取多分辨率图特征, 其中, ${x_1}$ 、 ${x_2}$ 、 ${x_3}$ 每个通道分别使用64、128、256个滤波器. 本文设计了逆向跳跃连接的网络结构, 既能实现特征复用, 达到特征融合的效果, 也一定程度促进了网络的反向传播, 避免梯度消失. 对应的输出表示为:

$ {y_j} = \left\{ \begin{gathered} Conv({x_j}),\;\qquad\qquad\qquad j = 4 \\ Conv(pooling({x_j} + {y_{j + 1}}),\; j = 1, 2, 3 \\ \end{gathered} \right. $

(7)

其中, Conv代表卷积操作、归一化、激活操作, 归一化可以加速网络的收敛, pooling表示池化操作, 使用ReLU激活函数增加网络的非线性, 然后逐步向前跳跃连接达成通道级联再次通过卷积提取特征, 获取最终空谱融合特征, 如图6所示y₁为最后的输出.

3 实验 3.1 数据集

本文采用Indian Pines (IP), 武汉大学公开数据集WHU-Hi-HanChuan以及WHU-Hi-HongHu进行实验^{[29, 30]}. IP数据集地址为 https://www.ehu.eus/ccwintco/index.php/Hyperspectral_Remote_Sensing_Scenes, 武汉大学公开数据集地址为 http://rsidea.whu.edu.cn/resource_WHUHi_sharing.htm.

3个数据集地物假彩色图以及地物真实图如图7–图9所示.

Indian Pines数据集是由AVIRIS传感器在印第安纳州北部采集的, 波长范围400–600 nm, 该数据集主要包含一些农作物、植被、道路和一些建筑, Indian Pines地表真实图以及所有种类如图7所示.

WHU-Hi-HanChuan数据集于2016年6月一天下午在湖北汉川市拍摄采集, 研究区域是一个城乡接合部. WHU-Hi-HanChuan数据集地物真实值以及种类如图8所示.

WHU-Hi-HongHu数据集是在2017年11月采集, 拍摄期间天气多云, 实验区是一个复杂的农业场景, 作物种类繁多, 该地区种植的是同一农作物类型的不同品种, 具体种类如图9所示.

各个数据集其他详细说明如表1内容所示, 从表1中可以看出IP空间分辨率相比WHU-Hi-HanChuan以及WHU-Hi-HongHu数据集空间分辨率低, WHU-Hi-HongHu空间分辨最高, 达到了厘米级.

3.2 实验设置及评价指标

实验环境系统为Linux操作系统, 服务器计算版本为CUDA 10.0, 处理器配置为CPU为Intel Xeon Silver 4114, Memory为256 GB, GPU显卡配置为NVIDIA GeForce TITAN Xp. 对比实验方法有SVM, 残差2D-CNN, 3D-CNN选用DBMA, DBDA, 混合卷积选用HybridSN模型, 本模型选用SGD优化器, 同时设置动量大小为0.9, 用来优化目标函数, 学习率设置为0.001, 设置批次大小为30, 迭代次数为150. IP数据集的空间输入大小为64×64, WHU-Hi-HanChuan以及WHU-Hi-HongHu数据的空间输入大小为24×24. 实验的Loss曲线图与Acc曲线图如图10和图11所示, 横坐标代表迭代次数, 纵坐标分别表示Loss、Acc, 用以证明实验结果的收敛性且没有冗余.

高光谱图像分类结果的评价指标主要包括: 总体精度 (overall average, OA)、平均精度 (average accuracy, AA)以及卡帕系数 (Kappa).

OA表示所有测试样本中分类准确的样本数量与所有测试样本的比值, 表达公式如下.

$ OA = \frac{{\displaystyle\sum\limits_{i = 1}^k {{n_{ii}}} }}{{\displaystyle\sum\limits_{i = 1}^k {{K_i}} }} $

(8)

其中, $k$ 表示图像中地物种类数量, $ {K_i} $ 表示第 $i$ 类像素的数目, ${n_{ii}}$ 表示第 $i$ 类地物被准确分类的像素数目. 从式(8)表达我们可以看出OA能够估量所有地物的分类效果, 但无法细致到每一类地物分类情况, OA这个指标受样本是否均匀的影响.

AA表达每类分类精度的平均值, 公式如式(9)所示. 从式(9)可以看出, AA的值受每一类分类精度的影响, 相比OA更加客观.

$ AA = \frac{1}{k}\sum\limits_{i = 1}^k {\frac{{{n_{ii}}}}{{{K_i}}}} $

(9)

Kappa系数可以描述真实值与预测值的差异情况, 它与混淆矩阵密切相关, 具体如式(10)所示.

$\begin{split} & N = \left[ {\begin{array}{*{20}{c}} {{n_{11}}}&{{n_{12}}}& \cdots &{{n_{1m}}} \\ {{n_{21}}}&{{n_{22}}}& \cdots &{{n_{2m}}} \\ \vdots & \vdots & \ddots & \vdots \\ {{n_{m1}}}&{{n_{m2}}}& \cdots &{{n_{mm}}} \end{array}} \right] \\ & Kappa = \frac{{K\displaystyle\sum\limits_{i = 1}^k {{n_{ii}} - \displaystyle\sum\limits_{i = 1}^k {\left(\displaystyle\sum\limits_{j = 1}^k {{n_{ji}}\displaystyle\sum\limits_{i = 1}^k {{n_{ii}}} } \right)} } }}{{{K^2} - \displaystyle\sum\limits_{i = 1}^k {\left(\displaystyle\sum\limits_{j = 1}^k {{n_{ji}}\displaystyle\sum\limits_{i = 1}^k {{n_{ii}}} } \right)} }} \end{split} $

(10)

其中, $N$ 表示一个混淆矩阵, ${n_{ij}}$ 表示第 $i$ 类地物被分到第 $j$ 类的数量, 也就是说当 $i$ 与 $j$ 数值相等时, 表示该类测试样本正确分类的数量, 两者不相等时为错误分类的数量. $K$ 为所有样本数量, 主对角线上的数字越大, 分类效果越理想. 相比OA、AA, Kappa利用了混淆矩阵, 反映出的分类情况更全面.

3个指标值越高, 分类效果越好. Indian Pines数据集样本数量较少, 空间分辨率低, 且标记样本也最少, WHU-Hi-HanChuan以及WHU-Hi-HongHu这两个数据集空间分辨率高, 标记样本多. 各自取其10%的样本作为训练集, 剩余90%作为测试样本. 训练测试集采用随机划分策略, 重复进行5次实验取平均值. 表2–表4统计了不同算法在3个数据集上的实验结果, 图12–图14列出了不同算法的分类结果图.

表2–表4已经详细统计了每一个数据集每一类的评价指标值, 图12–图14详细展示了不同算法对3个数据集的分类结果图. 表2–表4结果对比可以看出WTCAN模型相比于其他5种方法在OA、AA、Kappa这3个指标上表现最佳.

3.3 实验结果分析

(1) IP数据集实验结果分析. 共计16类地物, IP数据集的不同类具有很高的相似性, 比如corn-notill、corn-mintill以及corn, grass-pasture、grass-trees以及grass-pature-mowed, soybean-notill、soybean-mintill以及soybean-clean, 它们是同一品种的不同类别, 同时有限的标记样本也给分类造成了很大的困难. 使用10%的样本训练, 本文模型OA、AA、Kappa指标分别达到了98.41%、98.52%、0.9840, 相比SVM、2D-CNN、DBMA、DBDA、HybridSN这5种方法OA分别提升了18.47%, 18.48%, 3.3%, 0.54%, 2.02%. 从表2可以看出, 同一品种不同类别的corn, grass以及soy分类准确率均达到了95%以上. 从图12可以看出, SVM、2D-CNN、DBMA方法的分类结果图中均存在地物corn-notill错分成soybean-clean、地物soybean-notill错分成corn-notill, 地物corn-mintill错分soybean-mintill的情况, 此外结果图中均出现噪声, 出现噪声的原因是对原始冗余数据没有充分处理, WTCAN采用因子分析的降维方法起到了不错效果. 本文提出的WTCAN模型的分类结果图中在以上提到的这些地物中没有出现错分情况, 结果图也很平滑. 相对来说DBDA和HybridSN分类结果图也比较令人满意, 但错分地物情况仍然比本文模型多, 如corn-notill与soybean-mintill. 本文模型IP多数地物分类上表现良好, 但buildings-grass-trees-drives这类地物在所有地物中分类精度最低, 一方面是因为这类样本数量较少、标记样本少, 这导致模型在此类训练不足, 另一方面buildings-grass-trees-drives分辨率低, 特征自身有限, 模型的空间信息提取模块池化部分也会丢失一部分信息, 可能导致最终提取到的空谱特征不足, 分类效果不够理想.

(2) WHU-Hi-HanChuan数据实验分析. 空间分辨率比较高, 波段数量最多, 共有16类地物. 其中red roof与gray roof较为相似, 其余地物之间差异较为明显. 从表3的实验数据来看, WTCAN模型可以将这两类roof进行区分, 且能够取得不错的分类效果. 总体OA为99.67%, 相比SVM、2D-CNN、DBMA、DBDA、HybridSN方法, OA各自提升了16.06%, 14.36%, 4.56%, 3%, 7.81%. AA与Kappa也分别达到了99.05%, 0.9939. 从表3中也可清晰发现所有地物的分类精度超过90%, 其中有12类地物分类精度达到99%以上. 与IP数据集分类结果图类似, SVM、2D-CNN、DBMA方法的分类结果图中出现了噪声, 但噪声明显减少很多, 高空间分辨率图像的信息更有利于地物的精细分类. DBDA、HybridSN模型方法在略微复杂地物区域分类效果不够理想, 容易错分地物.

从图13可以看出, watermelon这个地物区域较为复杂, 特别是一些小区域, SVM、2D-CNN、DBMA、DBDA、HybridSN在此区域中均有把watermelon错分成cowpea的情况, WTCAN模型分类结果图中可以看到不管区域大小都能将watermelon精准分类, 没有错分, 说明模型空间多尺度特征提取到了利于地物识别和检测的关键信息. WTCAN模型表现出了良好的分类性能, 在地物边界区域也能比较准确将其识别, 足以表现出模型对地物空谱特征提取充分.

WHU-Hi-HongHu数据实验分析. 空间分辨率达到了0.043 m, 波段数量也较多. 地物种类数量最多, 共有22类地物, 18种农作物, 相似类型较多, 主要有cotton与cotton firewood, brassica chinesis与small brassica chinensis, carrot与white radish, 地物区域相对比较复杂. 从表4可以看出, WTCAN模型的OA相比SVM、2D-CNN、DBMA、DBDA、HybridSN分别提升了15.86%, 4.32%, 1.96%, 1.51%, 3.6%, AA和Kappa也达到了99.73%、0.9973. 所有地物种类准确率达到95%, 19类地物分类精度达到了99%以上. 对相似地物也较为准确进行了分类. 从图14结果图可以看出, SVM、2D-CNN分类结果仍然出现一些噪声, DBMA、DBDA、Hybrid SN算法总体来说对不复杂区域分类较为准确, 但是在一些紧邻的小区域的地物分类错分情况比较多, 比如DBDA模型把small brassica chinensis错分成brassica chinensis, rape错分成bare soil, HybridSN模型把rape错分成small brassica chinensis, small brassica chinensis错分成cotton, WTCAN模型总体对这些紧邻小区域地物、地物之间边界以及相似地物的分类能够达到令人满意结果.

综上所述, WTCAN在低空间分辨率和高光谱数据上实验取得了较理想的分类结果. WTCAN模型在WHU-Hi-HanChuan数据、WHU-Hi-HongHu数据的分类效果优于Indian Pines数据. SVM分类器破坏了原有光谱空间结构, 传统2D-CNN对光谱信息提取严重缺乏, DBMA、DBDA的3D-CNN模型训练参数量大, HybridSN模型泛化能力较差, 相比SVM、2D-CNN、DBMA、DBDA以及HybridSN, WTCAN模型优点是能够利用小波变换层次性有效获取到光谱信息, 相比3D-CNN能显著减少计算量, 空间信息提取模块从不同尺度提取空间特征、融合特征信息, 使得最终结果图像的分类边界和边缘更平滑, 复杂地域的地物分类识别也更准确, 同时空间信息提取模块中也引入了金字塔注意力机制, 将注意力集中在更具辨别性的信息上, 提供更详细、更准确的分类图, 但是单独考虑光谱、空间信息也有一些缺点, 小波变换的方式虽然降低了计算量, 但是一定程度上也会忽略部分光谱信息, 空间信息提取模块不同分辨率特征图采用最大池化缩略也会丢失一小部分空间纹理构造信息, 但总体来说WTCAN模型能够更快更有效的提取光谱空间特征, 进而提高分类精度.

3.4 消融实验

为了捕捉到更多有效光谱空间位置信息, 减少细节信息丢失, 在空间信息提取模块中引入金字塔注意力机制, 特别对于高光谱图像一些复杂细小区域或者边界, 利用不同尺度充分获取当前的局部像素所包含空间纹理信息. 为了验证空间信息提取模块添加金字塔注意力机制的有效性, 本文在3个数据集上进行了消融实验. 从表5可以看出, 添加金字塔注意力模块的评价指标要比不添加的指标要高, IP数据OA、AA、Kappa分别提升0.95%、1.31%、0.0153, HanChuan数据OA、AA、Kappa各自提升1.02%, 、1.13%、0.0113, HongHu数据OA、AA、Kappa对应提升0.08%、0.38%、0.0002, 证明了添加注意力模块的有效性.

4 结束语

高光谱图像中存在光谱高维度、光谱数量多、信息冗余等特征, 造成空间和纹理特征提取困难这一问题, 本文提出了一种基于小波变换的2D-CNN的方法, 采用多层小波分解方法对高光谱图像光谱特征提取, 有效解决了信息冗余问题, 相比3D-CNN也能够大幅减少参数量, 本文设计了空间信息提取模块充分获取空间纹理信息, 引入金字塔注意力机制从不同尺度提取高光谱图像空间光谱特征, 最终实现地物分类. 在Indian Pines、WHU_Hi_HanChuan、WHU_Hi_HongHu这3个数据集上进行实验, 结果表明高光谱图像光谱降成三维之后在低空间分辨率和高空间分辨数据上对各个目标仍能有效分类, 分类精度能有所提升. 但是当该算法面对更多光谱波段数量的数据时, 使用波段数量过少可能不仅没有解决光谱信息冗余问题, 或许还会导致丢失不少重要光谱信息, 进而出现分类准确率低的问题. 后续可以继续重点研究面向大数据量、光谱波段数量更多的空谱特征提取方法, 如何高效利用高光谱图像全局信息, 改善网络结构, 加速模型收敛速度, 实现快速实时分类是我们要继续探究的问题.