结合CNN和BiGRU的双通道短文本意图识别算法
作者:
基金项目:

新型网络与检测控制国家联合地方工程实验室基金(GSYSJ2018013)


Dual Channel Short Text Intent Recognition Algorithm Combining CNN and BiGRU
Author:
  • 摘要
  • | |
  • 访问统计
  • |
  • 参考文献 [19]
  • |
  • 相似文献
  • |
  • 引证文献
  • | |
  • 文章评论
    摘要:

    在短文本意图识别领域, 卷积神经网络(CNN)因其在局部信息提取方面的优异性能而备受关注. 然而, 由于其难以捕捉短文本语料的全局特征, 因此存在一定局限性. 针对该问题, 本文结合TextCNN和BiGRU-att的优点提出一个双通道短文本意图识别模型, 利用局部特征和全局特征更好地识别短文本的意图, 弥补模型对文本整体特征的不足. AB-CNN-BGRU-att模型首先利用ALBERT多层双向Transformer结构对输入的文本向量化, 再将向量分别送入TextCNN和BiGRU网络模型以获取局部和全局特征. 将这两种特征进行融合, 并通过全连接层并输入Softmax函数得到意图标签. 实验结果表明, 在THUCNews_Title数据集上, 本文提出的AB-CNN-BGRU-att算法准确率(Acc)达到了96.68%, F1值达到了96.67%, 相较于其他常用意图识别模型表现出更佳的性能.

    Abstract:

    In the field of short-text intent recognition, convolutional neural networks (CNN) have garnered considerable attention due to their outstanding performance in extracting local information. Nevertheless, their limitations arise from the difficulty in capturing the global features of short-text corpora. To address this issue, this study combines the strengths of TextCNN and BiGRU-att to propose a dual-channel short-text intent recognition model, aiming to better recognize the intent of short texts by leveraging both local and global features, thereby compensating for the model’s inadequacies in capturing overall text features. The AB-CNN-BGRU-att model initially utilizes an ALBERT multi-layer bidirectional Transformer structure to vectorize the input text and subsequently feeds these vectors separately into TextCNN and BiGRU network models to extract local and global features, respectively. The fusion of these two types of features, followed by passing through fully connected layers and inputting into the Softmax function, yields the intent labels. The experimental results demonstrate that on the THUCNews_Title dataset, the proposed AB-CNN-BGRU-att algorithm achieves an accuracy (Acc) of 96.68% and an F1 score of 96.67%, exhibiting superior performance compared with other commonly used intent recognition models.

    参考文献
    [1] Kim Y. Convolutional neural networks for sentence classification. Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Doha: ACL, 2014. 1746–1751.
    [2] 代令令. 基于fastText的问答系统用户意图识别与关键词抽取研究 [硕士学位论文]. 南宁: 广西大学, 2018.
    [3] 张倩. 基于问答系统的问句意图识别方法研究 [硕士学位论文]. 重庆: 重庆大学, 2020.
    [4] 侯雪亮, 李新, 陈远平. 基于多神经网络混合的短文本分类模型. 计算机系统应用, 2020, 29(10): 9–19.
    [5] Wang HT, He J, Zhang XH, et al. A short text classification method based on n-gram and CNN. Chinese Journal of Electronics, 2020, 29(2): 248–254.
    [6] 马思丹, 刘东苏. 基于加权Word2Vec的文本分类方法研究. 情报科学, 2019, 37(11): 38–42.
    [7] 孙红, 陈强越. 融合BERT词嵌入和注意力机制的中文文本分类. 小型微型计算机系统, 2022, 43(1): 22–26.
    [8] 迟海洋, 严馨, 周枫, 等. 基于BERT-BiGRU-Attention的在线健康社区用户意图识别方法. 河北科技大学学报, 2020, 41(3): 225–232.
    [9] 郭云雪. 基于深度学习的人机对话中短文本意图识别 [硕士学位论文]. 哈尔滨: 哈尔滨理工大学, 2020.
    [10] 温超东, 曾诚, 任俊伟, 等. 结合ALBERT和双向门控循环单元的专利文本分类. 计算机应用, 2021, 41(2): 407–412.
    [11] 李飞鸽, 王芳, 黄树成. 基于ALBERT与TextCNN的中文文本分类研究. 软件导刊, 2023, 22(4): 27–31.
    [12] 黄星宇. 基于ALBERT的医疗问答系统设计与实现 [硕士学位论文]. 成都: 电子科技大学, 2022.
    [13] 曾诚, 温超东, 孙瑜敏, 等. 基于ALBERT-CRNN的弹幕文本情感分析. 郑州大学学报(理学版), 2021, 53(3): 1–8.
    [14] 李洋, 董红斌. 基于CNN和BiLSTM网络特征融合的文本情感分析. 计算机应用, 2018, 38(11): 3075–3080.
    [15] 李启行, 廖薇, 孟静雯. 基于注意力机制的双通道DAC-RNN文本分类模型. 计算机工程与应用, 2022, 58(16): 157–163.
    [16] 邢鑫, 孙国梓. 基于双通道词向量的ACRNN文本分类. 计算机应用研究, 2021, 38(4): 1033–1037.
    [17] 康雁, 李晋源, 杨其越, 等. 基于双通道词向量的卷积胶囊网络文本分类. 计算机工程, 2019, 45(11): 177–182.
    [18] 宋中山, 牛悦, 郑禄, 等. 多尺度CNN卷积与全局关系的中文文本分类模型. 计算机工程与应用, 2023, 59(20): 103–110.
    [19] 吴迪, 王梓宇, 赵伟超. ELMo-CNN-BiGRU双通道文本情感分类模型. 计算机工程, 2022, 48(8): 105–112.
    相似文献
    引证文献
引用本文

王超,孙喁喁,徐飞,马媛媛,文雯,汪露.结合CNN和BiGRU的双通道短文本意图识别算法.计算机系统应用,2024,33(5):136-143

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2023-11-27
  • 最后修改日期:2023-12-29
  • 在线发布日期: 2024-04-01
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号