基于张量分解的分布式主题分类模型
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金青年项目(71603114);江苏省社会科学基金青年项目(16TQC004);中国博士后基金面上项目(2015M581776)


Improved Distributed Topic Classification Model Based on Tensor Decomposition
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对大规模数据分类时计算时间长以及分类精度下降等问题,提出使用张量分解求解LDA主题模型参数,实现对海量网络数据的采集、分类、挖掘.该方法使用矩量法将LDA模型求解转化为低维的张量分解问题,通过分解和反射进行参数的传递,运用大数据平台Spark的进行分布式计算.实验结果表明,改进的模型参数计算方法在时间效率和困惑度方面都得到了提升,并且分类信息更加直观,更加适用于大规模网络数据分类工作.

    Abstract:

    Aiming at the problems of large computation time and low classification time, this study presents an improved parameter estimation model for LDA by using the method of tensor decomposition, which can collect, classify, and mine massive network data. Using the method of moments, the LDA model calculation is transformed into low-dimensional tensor decomposition, and the parameters are transferred by decomposition and reflection. The large data platform Spark is used for distributed computation. The experimental results show that the model has been improved in terms of running time and perplexity, and the classification information display is more intuitive, which is more suitable for large-scale network data classification.

    参考文献
    相似文献
    引证文献
引用本文

马年圣,卞艺杰,唐明伟.基于张量分解的分布式主题分类模型.计算机系统应用,2018,27(6):151-157

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2017-10-09
  • 最后修改日期:2017-11-01
  • 录用日期:
  • 在线发布日期: 2018-05-29
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号