基于深度语义引导和注意力融合的实时语义分割
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金联合基金 (U1803262)


Real-time Semantic Segmentation Based on Deep Semantic Guidance and Attention Fusion
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对现阶段实时语义分割方法模型冗余度高, 计算成本高和准确率低的问题, 本文提出了一种基于深度语义引导和注意力融合的实时语义分割方法. 采用MobileNetV3作为主干网络, 并在此基础上引入深度双分支并行操作, 使用语义分支指导修正空间分支中的像素点, 在不额外增加参数量的情况下增强了空间分支的细节特征. 此外, 引入注意力融合模块, 使用多尺度分支并行的子结构实现即时响应计算, 并提供一种跨空间信息聚合的方法以提高分割精度. 该方法在Cityscapes和CamVid数据集上以81.2 f/s和147.6 f/s的推理速度分别达到了75.2%和77.4%的MIoU, 同时参数量仅为3.4M. 实验结果表明, 本文方法在保持较少网络参数量的同时, 更好地权衡了语义分割的精度与速度.

    Abstract:

    To address the issues of high redundancy, high computational cost, and low accuracy in current real-time semantic segmentation methods, this study proposes a novel real-time semantic segmentation approach based on deep semantic guidance and attention fusion. The proposed architecture employs MobileNetV3 as its backbone network, enhanced with an innovative deep dual-branch parallel structure. The semantic branch guides the correction of pixel points in the spatial branch, enhancing its detail features without increasing the parameter count. Additionally, an attention fusion module with multi-scale parallel branches is employed to achieve real-time computation and to improve segmentation accuracy through cross-spatial information aggregation. The method achieves inference speeds of 81.2 f/s and 147.6 f/s on the Cityscapes and CamVid datasets, respectively, with MIoU scores of 75.2% and 77.4%, and a parameter count of just 3.4M. Experimental results demonstrate that the proposed method effectively balances segmentation accuracy and speed while maintaining a small parameter count.

    参考文献
    相似文献
    引证文献
引用本文

赵吴涯,李顺新.基于深度语义引导和注意力融合的实时语义分割.计算机系统应用,,():1-8

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-11-12
  • 最后修改日期:2024-12-07
  • 录用日期:
  • 在线发布日期: 2025-04-28
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号