基于FastText和关键句提取的中文长文本分类
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

陕西省2020年技术创新引导专项(基金)(2020CGXNG-012)


Chinese Long Text Classification Based on FastText and Key Sentence Extraction
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    FastText是一种准确高效的文本分类模型, 但直接应用在中文长文本分类领域存在准确度不高的问题. 针对该问题, 提出一种融合TextRank关键子句提取和词频-逆文本频率(Term Frequency-Inverse Document Frequency, TF-IDF)的FastText中文长文本分类方法. 该方法在FastText模型输入阶段使用TextRank算法提取文本的关键子句输入训练模型, 同时采用TF-IDF提取文本的关键词作为特征补充, 从而在减少训练语料的同时尽可能保留文本分类的关键特征. 实验结果表明, 此文本分类方法在数据集上准确率达到86.1%, 比经典的FastText模型提高了约4%.

    Abstract:

    FastText is a precise and efficient text classification model, but the precision is low when it is directly applied to Chinese long text classification. Regarding this problem, this study proposes a FastText method for Chinese long text classification, which combines TextRank key clause extraction with Term Frequency-Inverse Document Frequency (TF-IDF). Firstly, TextRank is used to extract the key clauses of the text as input features. Secondly, key words of the text are extracted by TF-IDF as a feature supplement. Finally, the extracted text features are input into the FastText model, which can preserve the key features of the target text while reducing the training corpus. The experimental results show that the accuracy of the proposed method on the datasets is 86.1%, which is about 4% higher than the classic FastText model.

    参考文献
    相似文献
    引证文献
引用本文

汪家成,薛涛.基于FastText和关键句提取的中文长文本分类.计算机系统应用,2021,30(8):213-218

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-11-12
  • 最后修改日期:2020-12-14
  • 录用日期:
  • 在线发布日期: 2021-08-03
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号