基于混合泛化Transformer的轻量化图像超分辨率重建
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

辽宁省自然科学基金面上项目(2022-MS-276)


Lightweight Image Super-resolution Reconstruction Based on Hybrid Generalization Transformer
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    基于Transformer方法凭借自注意力机制在图像超分辨率重建领域中展现出卓越的性能, 然而自注意力机制也带来了非常高的计算成本, 针对此问题提出一种基于混合泛化Transformer的轻量化图像超分辨率重建模型. 该模型建立在SwinIR网络架构的基础上, 首先, 采用矩形窗口自注意机制(RWSA), 利用不同头部的水平和垂直矩形窗口代替传统的正方形窗口模式, 整合跨越不同窗口的特征. 其次, 引用递归泛化自注意力机制(RGSA)将输入特征递归地聚合到具有代表性的特征映射中, 然后利用交叉注意力来提取全局信息, 同时将RWSA和RGSA交替结合, 以更有效地利用全局上下文信息. 最后, 为了激活更多的像素以获得更好的恢复, 使用通道注意力机制和自注意力机制并联地对输入图像进行特征提取. 在5种基准数据集的测试结果表明, 该模型在保持模型参数轻量化的同时取得了更好的重建性能.

    Abstract:

    Transformer method, relying on a self-attention mechanism, exhibits remarkable performance in the field of image super-resolution reconstruction. Nevertheless, the self-attention mechanism also brings about a very high computational cost. To address this issue, a lightweight image super-resolution reconstruction model based on a hybrid generalized Transformer is proposed. This model is built based on the SwinIR network architecture. Firstly, the rectangular window self-attention (RWSA) mechanism is adopted. It utilizes horizontal and vertical rectangular windows with different heads to replace the traditional square window pattern, integrating features across different windows. Secondly, the recursive generalized self-attention (RGSA) mechanism is introduced to recursively aggregate input features into representative feature maps, followed by the application of cross-attention to extract global information. Meanwhile, RWSA and RGSA are alternately combined to make more effective use of global context information. Finally, to activate more pixels for better recovery, the channel attention mechanism and self-attention mechanism are used in parallel to extract features from the input image. Test results of five benchmark datasets show that this model achieves better reconstruction performance while keeping the model parameters lightweight.

    参考文献
    相似文献
    引证文献
引用本文

刘俊辰,张文波,杨大为.基于混合泛化Transformer的轻量化图像超分辨率重建.计算机系统应用,,():1-9

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-07-30
  • 最后修改日期:2024-09-19
  • 录用日期:
  • 在线发布日期: 2025-01-21
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号