自然语言场景下增量知识构造与遮蔽回放策略
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金(62172166)


Incremental Knowledge Construction and Mask Replay Strategy in NLP Scenario
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    在增量学习中, 随着增量任务的数量增多, 模型在新增任务上训练后, 由于数据分步偏移等一系列问题, 模型对旧任务上所学到的知识发生灾难性遗忘, 致使模型在旧任务上性能下降. 对此, 本文提出了基于知识解耦的类增量学习方法, 分层次的学习不同任务共有知识与特有知识, 并对这两种知识进行动态的结合, 应用于下游的分类任务中. 并在回放学习中运用自然语言模型的遮蔽策略, 促进模型快速回忆起先前任务的知识. 在自然语言处理数据集AGNews、Yelp、Amazon、DBPedia和Yahoo的类增量实验中, 本文所提出的方法能有效降低模型的遗忘, 提高在各个任务上的准确率等一系列指标.

    Abstract:

    In increment learning, as the number of tasks increases, the knowledge learned by the model on the old task is catastrophically forgotten after the model is trained on the new task due to a series of problems such as step-by-step data migration, resulting in the degradation of the model performance on the old task. Given this problem, a class-incremental learning method based on knowledge decoupling is proposed in this study. This method can learn the common and unique knowledge of different tasks hierarchically, combine the two kinds of knowledge dynamically, and apply them to the downstream classification tasks. Besides, the mask strategy of the natural language model is used in replay learning, which prompts the model to quickly recall the knowledge of the previous tasks. In class-incremental experiments on NLP datasets—AGNews, Yelp, Amazon, DBPedia and Yahoo, the proposed method can effectively reduce the forgetting of the model and improve the accuracy and other indicators on various tasks.

    参考文献
    相似文献
    引证文献
引用本文

周航,黄震华.自然语言场景下增量知识构造与遮蔽回放策略.计算机系统应用,2023,32(8):269-277

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2023-01-12
  • 最后修改日期:2023-02-09
  • 录用日期:
  • 在线发布日期: 2023-06-09
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号