数字高程模型(digital elevation model, DEM)是一种地理信息系统(GIS)中常用的地形数据模型, DEM在各种地理分析中起着重要作用, 广泛应用于地形分析^[1]、水文建模^[2]、地形辅助导航^[3]和环境模拟^[4]等领域. DEM精度越高对于地理分析的结果越准确, 因此如何获得高分辨率DEM已成为研究热点^[5–9]. 采用车载激光雷达测量^[10]、航空摄影测量^[11]和卫星影像测量^[12]等方法, 都是直接获取DEM的方法, 但耗时耗力, 对于部分地方并不适合使用大规模的采集方式. 并且随着DEM测量方式的增多, 对同一地区的DEM也越来越多, 呈多分辨率和多时相的特点, 学者们已经开始探索利用多源DEM进行数据融合以提高DEM分辨率^[13,14].

然而, 由于部分地区DEM的保密性, 多源DEM的获取存在一定困难. 因此, 目前主流的方法是对低分辨率DEM进行超分辨率重建(super-resolution recon-struction, SRR), 从算法原理上分为基于插值、基于重建和基于学习这3类. 其中基于插值的方法(如最邻近插值、双线性插值和三次样条插值)无法准确推测原始高分辨率图像的细节信息, 导致丢失地形尖锐边缘和细微变化, 并产生不真实的伪影或平滑效果, 缺乏细节和清晰度. 而基于重建的方法(如凸集投影法^[15]、迭代反投影法^[16]和最大后验估计法^[17])受限于假设的模型, 在重建过程中与实际情况不一致, 导致细节损失和无法处理复杂的结构, 重建后可能模糊、失真或产生伪影.

基于学习的图像超分辨率算法与前两种类型有显著区别, 通过学习高分辨率图像与对应低分辨率图像之间的映射关系并计算特征信息来重建高分辨率图像. 并且随着深度学习的发展, 出现了一种新的超分辨率图像重建方法: 将卷积神经网络(convolutional neural network, CNN)应用到超分辨率任务中, 2016年, Chen等人^[18]在CNN的基础上, 通过最小化误差的优化方法输出高分辨率的DEM, 该方法重建得到的DEM和传统插值方法相比取得了更好的效果. 2019年, Xu等人^[19]利用深度卷积网络结合迁移学习, 成功将自然图像学习的知识迁移到DEM超分辨率重建领域, 实现在少量DEM情况下获得高精度结果. 2020年, Jiao等人^[20], 提出了基于深度残差网络的DEM超分辨率重建模型, 该模型通过最小化重建误差来优化模型, 从而提高DEM的分辨率和精度. 2022年, Lin等人^[21], 介绍了一个结合内部和外部学习的DEM超分辨率重建模型, 该模型利用DEM数据的内部先验知识和外部图像数据集的学习, 以提升重建后DEM的质量和细节. 2023年, Zhou等人^[22], 将地形特征与CNN进行结合, 介绍了一种基于多地形特征的超分辨率深度模型, 从矢量和栅格地形特征的角度出发, 提高了DEM整体精度和保留地形特征的优势.

针对数字高程模型超分辨重建中存在的地理结构细节缺失问题以及传统基于CNN的方法的局限性, 本文提出了深度残差频率自适应DEM超分辨率模型(deep residual frequency-adaptive DEM super-resolution model, DRFA-SR), 首先利用边缘检测算子得到DEM梯度图, 解决将DEM作为二维图像拓展, 所导致高程特征与RGB特征几何线索差异问题, 并加入高低频特征提取模块(high-low frequency feature extraction block, HIFEB)通过频率选择特征提取块(frequency-selective feature extraction block, FreqSelect), 获取DEM高低频特征信息, 为后续DEM重建提供丰富的信息, 然后由空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP)输出最终特征图.

本文的主要工作如下.

(1)提出了一个深度残差频率自适应DEM超分辨重建模型, 通过使用梯度图作为输入数据来获取DEM中高频细节并避免将DEM作为二维图像拓展所引起的误差.

(2)通过引入HIFEB和ASPP模块有效地提取DEM中的高低频信息, 同时降低了模型的复杂性, 提高了超分辨率重建的准确性和效率.

(3)实验表明, 本文提出的DRFA-SR与其他目前先进模型对比, 在不同缩放因子下超分辨率实验上各个指标上均取得了优势.

1 研究方法 1.1 深度残差频率自适应DEM超分辨率模型

DRFA-SR由梯度提取模块、浅层特征提取模块、深层特征提取模块、超分辨率重建模块和高度域重建模块组成, 如图1所示.

(1)梯度提取模块

通过Prewitt算子对低分辨率DEM $ {D_{{\mathrm{LR}}}} \in {R^{H \times W \times 1}} $进行处理, 得到低分辨率DEM的梯度$ D_{{\mathrm{LR}}}^t \in {R^{H \times W \times 1}} $, 并作为输入, 过程如下:

$ D_{{\mathrm{LR}}}^t = \sqrt {({D_{{\mathrm{LR}}}})_x^2 + ({D_{{\mathrm{LR}}}})_y^2} $

(1)

其中, $ {({D_{{\mathrm{LR}}}})_x} $和$ {({D_{{\mathrm{LR}}}})_y} $分别为水平方向梯度图和竖直方向梯度图.

(2)浅层特征提取模块

该模块采用$3 \times 3$卷积进行浅层特征提取, 如式(2)所示:

$ {F_1} = {{Conv}}(D_{{\mathrm{LR}}}^t) $

(2)

其中, $ {F_1} \in {R^{H \times W \times C}} $为梯度图的浅层特征, $C$为特征图通道数, 利用卷积可以使网络具备浅层特征提取能力, 能对梯度图中的低频信息进行特征提取.

(3)深层特征提取模块

将得到的${F_1}$特征进行深层提取, 深层特征提取模块含有 $M$个高低频特征提取残差块(HIFEB)和一个空洞空间金字塔池化块(ASPP). 最终特征图$ {F_E} $为: ${F_1}$经过$M$个HIFEB和一个ASPP逐层提取得到, 该过程的输出可以表示为:

$ \left\{\begin{split} & {F_{k + 1}} = {\mathrm{HIFEB}}({F_k}),{\text{ }}k \in 1, 2, \cdots, m - 1 \\ & {F_E} = {\mathrm{ASPP}}({F_{k + 1}}) \end{split}\right. $

(3)

(4)超分辨率重建模块

超分辨率重建模块由两个卷积块、一个ReLU函数和一个亚像素卷积层构成. 在重建高分辨率梯度图时, 将$ {F_E} $和${F_1}$输入到超分辨率重建模块中进行重建, 如下所示:

$ D_{{\mathrm{SR}}}^t = {f_{{\mathrm{rec}}}}({F_1} + {F_E}) $

(4)

其中, ${f_{{\mathrm{rec}}}}( \cdot )$是重建模块函数.

(5)高度域重建模块

利用重建后高分辨率梯度图$ D_{{\mathrm{SR}}}^t $, 在高度域下重建出高分辨率DEM ${D_{{\mathrm{SR}}}}$, 如图2所示, 过程如下:

$ \begin{split} {D_{{\mathrm{SR}}}} = &\mathop {\min }\limits_{D_{\mathrm{SR}}} \Bigg\{ {\sum\nolimits_{i = 1}^n {\left| {{D_{{\mathrm{LR}}}} - {D_{{\mathrm{LR}}}} \downarrow } \right|} ^2}\Bigg. \\ & \Bigg.+ \mu {\sum\nolimits_{i = 1}^n {\left| {D_{{\mathrm{SR}}}^t - \widetilde D_{{\mathrm{SR}}}^t} \right|} ^2}\Bigg\} \end{split} $

(5)

并采用梯度下降算法(gradient descent), 得出最优${D_{{\mathrm{SR}}}}$.

1.2 高低频特征提取模块

考虑到DEM空间信息极为复杂, 分辨率在水平和垂直方向上的变化影响着地形特征的表达, 使得DEM中微观地表的沟壑、悬崖等在数据呈中现出局部突出的形态, 然而, 在处理复杂地形会导致细节丢失、模糊和失真. 因此, 为了更好地捕获地形数据的细节和结构特征, 提高重建质量, 引入了高低频特征提取残差块, 如图3所示.

在残差神经网络中, 特征图之间的关系可以表示为:

$ Y = y + G $

(6)

其中, $Y$、$y$、$G$分别表示最终特征图、输入特征图和残差特征图. 在残差块中, $y$过一系列的卷积操作和非线性激活函数后得到了$G$. 由式(6)可以得到在输入特征图不变的情况下, 用于重建特征图需提升的残差特征图, 如式(7)所示:

$ G = Y - y $

(7)

其中, $G$是由当前一次残差块的输出作为下一次残差块的输入经过$n$次最后一次输出的残差特征图, ${G_i}$是当前该残差块的输出, ${y_i}$是当前该残差块的输入, $i$为残差块的个数, 其中$F$表示残差块内的操作, ${\theta _i}$表示第$i$个残差块内卷积层的参数, $L$代表卷积层的总数, 如式(8)所示:

$ {G_i} = {y_i} + F({y_i};{\theta _i}{W_{i:L}};{B_{i:L}}), {\text{ }}i = 1, 2, \cdots, N $

(8)

DEM包含丰富的高频特征和低频特征, 在残差块内部引入FreqSelect, 通过多尺度特征提取和残差学习, 有效地保留和重建DEM的细节和结构信息, 如图4所示.

在FreqSelect中, 在傅里叶域中通过应用不同的掩码将DEM输入特征图$y$分解为不同的频率带, 如下:

$ y = {\mathcal{F}^{ - 1}}({M_b} \cdot \mathcal{F}(X)) $

(9)

其中, $\mathcal{F}$表示快速傅里叶变换, ${\mathcal{F}^{ - 1}}$表示逆快速傅里叶变换, ${M_b}$是一个二进制掩码, 用于提取相应的频率带:

$ \left\{ \begin{gathered} 1, \;{\mathrm{if}}{\text{ }}{\phi _b} \leqslant k \leqslant {\phi _{b + 1}} \\ 0, \;{\mathrm{otherwise}} \\ \end{gathered} \right. $

(10)

其中, ${\phi _b}, \;{\phi _{b + 1}}$来自预定义的频率阈值集合$ \left\{ 0, {\phi _1}, {\phi _2}, \cdots , \right. \left. {\phi _{b - 1}}, 1/2 \right\} $.

随后, FreqSelect在空间上动态地重新加权不同频率带中的频率成分, 以在重建过程中更好地平衡高低频特征. 其公式为:

$ y' = \sum\limits_{b = 0}^{B - 1} {{A_b}(i, j){X_b}(i, j)} $

(11)

其中, $y'$是经过FreqSelect处理后的特征图, $ {A_b} \in {R^{H \times W}} $表示第$b$个频率带的选择图.

1.3 空洞空间金字塔池化模块

为解决全局上下文信息整合的问题引入了空洞空间金字塔池化模块, 如图5所示, ASPP通过应用不同膨胀率的卷积操作, 有效地捕捉了不同尺度的地形特征, 同时通过全局平均池化获取了全局上下文信息, 通过将多尺度特征和全局信息进行融合, 提高了特征表示的丰富性和准确性.

设输入特征图为$ G $, 经过 ASPP 处理后的输出特征图为$ Y $. ASPP 中不同膨胀率的卷积操作可表示为:

$ {Y_d} = {{Con{v}}_d}(G) $

(12)

其中, ${{Con{v}}_d}$表示膨胀率为$d$的卷积操作. 所有膨胀卷积操作及全局平均池化结果的拼接与融合得到最终的输出特征图$ Y $, 本文采取了3个$3 \times 3$的空洞卷积, 采样率为6、12和18, 如式(13)所示:

$ Y={{Conv}}([{Y}_{1}\cdot{Y}_{{d}_{1}}\cdot{Y}_{{d}_{1}}\cdot{Y}_{{\mathrm{gap}}}]) $

(13)

其中, $[ \cdot ]$表示特征图的拼接操作.

1.4 损失函数

超分辨率重建图像任务中, 一般将${L_1}$范数或者$ {L_2} $范数作为损失函数, 但根据Zhao等人^[23]的实验结论所得, 在峰值信噪比(peak signal-to-noise ratio, PSNR)和结构相似性指数(structural similarity index, SSIM)方面, $ {L_1} $范数作为损失函数效果更好, 故模型采用$ {L_1} $范数作为损失函数, 如式(14)所示:

$ {L_1} = \frac{1}{{{n}}}\sum\limits_{i = 1}^{{n}} {\left| {{y_i} - F\left( {{x_i}} \right)} \right|} $

(14)

其中, ${y_i}$是目标值, $F({x_i})$是估计值, $n$是训练样本的数量.

2 实验与结果分析

本实验所使用平台是国家超级计算西安中心, 基于Python语言和PyTorch 1.8.0深度学习框架下训练DRFA-SR.

2.1 数据集与评价指标

本实验使用陕西秦岭DEM作为实验对象, 秦岭山脉地形的起伏变化和高度差使得其具有多样的地形和复杂的地貌特征, 可以充分训练和验证本文模型.

由于DEM数据稀少, 不足以满足神经网络训练, 因此本文使用公开数据集DIV2K用来预训练, 并通过迁移学习, 将训练好的模型进行微调(fine-tune)更好地适应DEM超分辨率重建任务, 提高性能表现. 该DEM精度为30 m, 大小为$8643 \times 5407$. 将该数据进行裁剪, 分为700块大小为$256 \times 256$的块, 将产生的数据集按照7:2:1的比例分为训练集${D_1}$、验证集$ {D_2} $和测试集${D_3}$, 通过降采样将训练集与验证集中的高分辨率版本得到低分辨率版本, 然后通过Prewitt算子得到低分辨率梯度图.

实验评价指标采用峰值信噪比和相对误差率(absolute relative error, ARE)来验证模型的有效性. PSNR计算重建图像与原始图像之间的均方误差, 并将其转化为以dB为单位的指标, 数值越高表示重建图像质量越好, 如式(15)所示:

$ {\textit{PSNR}} = 10\lg \frac{{{D^2} \times MN}}{{\displaystyle\sum\nolimits_{x = 1}^M {{{\displaystyle\sum\nolimits_{y = 1}^N {(I(x, y) - {I_w}(x, y))} }^2}} }} $

(15)

ARE是预测值和真实值之间的相对差异, 将其绝对值化并除以真实值的指标. 其值表示了预测值与真实值之间的误差相对于真实值的大小. ARE的值越小, 表示预测值和真实值之间的误差越小, 即模型的预测越准确. 相反, 表示预测值和真实值之间的误差越大, 模型的预测准确性越低, 计算公式如下:

$ ARE = \frac{1}{{M \times N}}\sum\nolimits_{x = 1}^M {\left| {\frac{{{I_w}(x, y) - I(x, y)}}{{I(x, y)}}} \right|} $

(16)

式(15)和式(16)中, $I(x, y)$代表的是原DEM的像素值, $ {I_w}(x, y) $代表的重建后DEM中各像素的值, $M \times N$是图像的尺寸大小, $D$是信号的峰值即是图像中最大像素值. 并针对DEM地理细节, 额外引入坡度$ {E_{{\mathrm{Slope}}}} $和坡向$ {E_{{\mathrm{Aspect}}}} $作为评估指标.

2.2 实验设置

训练过程中采用Adam优化器, 设定β₁=0.9, β₂=0.999, ε=2×0.0001, 每300个epoch学习率衰减一半, 在1 500次得到最佳模型, 实验使用DCU进行训练.

2.3 定量评价

为了充分验证DRFA-SR的先进性, 本节将同一地区不同分辨率的DEM进行对比分析, 表1列出了6种模型分别在两种不同精度下进行2倍和3倍超分辨率重建后PSNR和ARE对比结果. 由测试数据集上的评价结果可以看出, 所提DRFA-SR在数据集上均实现了更好的PSNR和ARE结果, 证明其性能优越.

具体而言, DRFA-SR与基于Transformer的SwinIR相比, 在缩放因子为2时, $ {E_{{\mathrm{Slope}}}} $和$ {E_{{\mathrm{Aspect}}}} $两者效果相当, 但随着缩放因子上升, DRFA-SR在$ {E_{{\mathrm{Slope}}}} $和$ {E_{{\mathrm{Aspect}}}} $上更具有优势, ARE在任意缩放因子下均优于SwinIR, 说明DRFA-SR在纹理细节更加丰富, 更加重建出接近于原始图像高低频细节. 而与其他DEM超分辨率模型相比, DRFA-SR在4个客观评价中均取得了优势. 同时对比结果还显示出, 对于同种模型在不同精度下重建结果也具有较大差异, 例如, 在12.5 m和30 m精度下, 随着缩放因子的增大, DRFA-SR模型的PSNR下降幅度在30 m精度时明显大于在12.5 m精度时的下降幅度. 并且随着缩放因子的增加, 所有方法的$ {E_{{\mathrm{Slope}}}} $和$ {E_{{\mathrm{Aspect}}}} $值都上升, 这表明随着DEM缩放因子增加, DEM重建模型性能相对降低, 出现一定的重建误差. 在12.5 m精度下, 所有模型重建效果也随着缩放因子的增加而降低, 说明在更高精度要求下, 会导致较高的重建误差, 重建模型面临更大的挑战. 因此在实际应用中, 应该根据具体情况, 选择合适的缩放因子以平衡精度要求和模型性能.

从图6(h)可以得出, DRFA-SR提取结果在平坦区域空间分布上明显好于其他方法, 而在陡峭区域DRFA-SR能够重建出更精确的纹理效果. 在坡向变化复杂的地区, DRFA-SR能够细致恢复出接近原始数据的DEM.

图7是重建后DEM的坡度图, 随着坡度降低, 6种方法提取到的坡度数据精度均得到提升, 且与实际结果逐渐接近, 其中DRFA-SR在6种方法中重建效果最好.

2.4 消融实验

DRFA-SR主要由HIFEB和ASPP组成, 其中HIFEB含有FreqSelect模块, 为了验证FreqSelect模块和ASPP对DEM高低频特征提取以及重建DEM提升的提升效果, 进行了4组对比实验, 结果如表2所示.

通过对比实验表明, 在数字高程模型超分辨率重建中, FreqSelect和ASPP模块的加入均显著提升了模型的重建效果: 基础模型的PSNR为31.67 dB, ARE为0.886, 表现较差. 引入FreqSelect模块后, PSNR提高到32.21 dB, ARE降低至0.843, 表明该模块通过有效提取高低频特征, 增强了模型的特征表示能力. 引入ASPP模块后, PSNR提升至32.41 dB, ARE降低至0.844, 说明ASPP通过多尺度特征提取和扩展感受野, 显著改善了重建质量. 最终, 结合了FreqSelect和ASPP模块的DRFA-SR模型取得了最佳性能, PSNR达到33.93 dB, ARE降至0.824. 这验证了两模块在高低频特征提取和多尺度特征融合方面的协同增效作用, 显著提升了DEM超分辨率重建的整体效果.

3 结束语

本文提出一种基于深度残差频率自适应网络模型DRFA-SR, 通过使用高低频特征提取残差模块和空洞空间金字塔池化模块, 更充分地利用特征图中的信息. 并在HIFEB中使用了FreqSelect模块, 根据频率选择出重要的特征信息, 真实地重建出DEM的地理特征.

此外, 在梯度域和高度域双重约束下进行重建, 提升模型的超分辨率重建能力. 实验结果表明, DRFAT-SR通过提取高低频特征和整合多尺度信息取得了显著的模型性能, 与EDSR和SwinIR等最新算法相比, 所提DRFA-SR在各个指标中均取得最优效果.