基于指针生成网络的中文对话文本摘要模型
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家重点研发计划(2018YFC0810204)


Chinese Dialogue Text Summarization Model Based on Pointer Generator Network
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对传统Seq2Seq序列模型在文本摘要任务中无法准确地提取到文本中的关键信息、无法处理单词表之外的单词等问题, 本文提出一种基于Fastformer的指针生成网络(pointer generator network, PGN)模型, 且该模型结合了抽取式和生成式两种文本摘要方法. 模型首先利用Fastformer模型高效的获取具有上下文信息的单词嵌入向量, 然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表来生成新的摘要信息, 以解决文本摘要任务中常出现的OOV (out of vocabulary)问题, 同时模型使用覆盖机制来追踪过去时间步的注意力分布, 动态的调整单词的重要性, 解决了重复词问题, 最后, 在解码阶段引入了Beam Search优化算法, 使得解码器能够获得更加准确的摘要结果. 实验在百度AI Studio中汽车大师所提供的汽车诊断对话数据集中进行, 结果表明本文提出的Fastformer-PGN模型在中文文本摘要任务中达到的效果要优于基准模型, 具有更好的效果.

    Abstract:

    Considering the problems that the traditional Seq2Seq model cannot accurately extract key information from texts and process words outside the word list in text summarization tasks, this study proposes a pointer generator network (PGN) model based on Fastformer. The model combines the text summarization methods of extraction and generation. Specifically, the Fastformer model is used to efficiently obtain the word embedding vector with context information, and then PGN helps choose to copy words from the source text or use vocabulary to generate new summary information, so as to solve the out-of-vocabulary (OOV) problem that often occurs in text summarization tasks. At the same time, the model uses the coverage mechanism to track the attention distribution of the past time step and dynamically adjust the importance of words to solve the problem of repeated words. Finally, the Beam Search algorithm is introduced in the decoding stage to make the decoder obtain more accurate summary results. The experiments on the dataset of auto-diagnosis dialogues provided by Auto Master in AI Studio of Baidu show that the Fastformer-PGN model proposed in this study achieves better performance in text summarization tasks of Chinese dialogues than the benchmark model.

    参考文献
    相似文献
    引证文献
引用本文

胡清丰,魏赟,邬春学.基于指针生成网络的中文对话文本摘要模型.计算机系统应用,2023,32(1):224-232

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-04-12
  • 最后修改日期:2022-05-22
  • 录用日期:
  • 在线发布日期: 2022-11-14
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号