基于混合注意力胶囊网络的文本分类模型
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

黑龙江省社科研究规划项目(24EDE003)


Text Classification Model Based on Hybrid Attention Capsule Network
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    近年来, 深度学习显著推动了文本分类算法的发展, 但传统文本分类算法在长距离依赖建模和捕获细粒度语义特征方面依然面临挑战. 胶囊网络(capsule network)通过动态路由机制有效建模特征层次关系, 为解决这一问题提供了新的思路. 然而, 基于胶囊网络的文本分类方法存在以下几个问题: (1) 动态路由计算复杂, 难以处理长文本; (2) 对局部语义特征和全局上下文信息的协同利用不足; (3) 路由过程的不稳定性导致训练困难. 为了解决这些问题, 本文提出了一种混合注意力动态稀疏路由胶囊网络(HADSR-Caps)模型. 该模型首先采用混合注意力机制, 融合局部窗口注意力和全局注意力, 捕获多尺度语义特征; 然后设计了动态稀疏路由算法, 引入K-Sparse剪枝和自适应路由终止策略, 有效降低计算量并提升模型鲁棒性. 通过在多个公开数据集上的实验, 结果表明, HADSR-Caps在分类准确率和鲁棒性方面相较于传统胶囊网络及其他基准模型, 均表现出显著的提升.

    Abstract:

    In recent years, deep learning has significantly advanced text classification algorithms. However, traditional text classification methods still face challenges in modeling long-range dependencies and capturing fine-grained semantic features. Capsule networks offer a new approach to address these issues by effectively modeling hierarchical feature relationships through dynamic routing. Nevertheless, capsule network-based methods suffer from three key limitations: (1) high computational complexity of dynamic routing, which hinders long text processing; (2) insufficient integration of local semantic features and global contextual information; (3) training challenges caused by routing instability. To tackle these problems, this study proposes a hybrid attention dynamic sparse routing capsule network (HADSR-Caps). The model employs a hybrid attention mechanism that fuses local window attention and global attention to capture multi-scale semantic features. It then introduces a dynamic sparse routing algorithm, integrating K-Sparse pruning and adaptive routing termination, which significantly reduces computational costs while enhancing model robustness. Experimental results on multiple public datasets demonstrate that HADSR-Caps achieves significant improvements in both classification accuracy and robustness, outperforming traditional capsule networks and other benchmark models.

    参考文献
    相似文献
    引证文献
引用本文

赵建民,杨子辰,李井辉.基于混合注意力胶囊网络的文本分类模型.计算机系统应用,2025,34(12):228-239

复制
分享
相关视频

文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2025-05-22
  • 最后修改日期:2025-06-24
  • 录用日期:
  • 在线发布日期: 2025-11-04
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62661041 传真: Email:csa@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号