一种基于分布式平台Hadoop的矩阵相乘算法
DOI:
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家“863”计划基金重点项目(2009AA012201);上海市科委科技攻关基金重大项目(08dz501600)


Algorithm of Distributed Matrix Multiplication Based on Hadoop
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    为了解决单节点上大矩阵相乘运算量过大的问题,提出了一种基于分布式平台Hadoop的矩阵相乘算法. 算法采用了字节文件作为输入以及最优化的分片方式,去掉了不必要的Reduce过程,极大地减少了输入数据量,拥有简洁的算法流程和可拓展性. 实验结果表明该算法很好地解决了矩阵相乘运算量过大的问题,当输入数据量接近集群最佳负载量的情况下取得了很好的加速比.

    Abstract:

    In order to release the burden of large matrix multiplication on a single node, a distributed matrix multiplication algorithm based on Hadoop is proposed. The algorithm uses the input file with binary format, applys optimal split, removes the unnecessary Reduce phase. The algorithm can greatly reduce the amount of input data, has simple algorithm flow and good scalability. Experiment results demonstrate that the algorithm greatly reduces the computation of matrix multiplication and achieves good speedup when the amount of input data is around the optimum loading of the cluster.

    参考文献
    相似文献
    引证文献
引用本文

冯健,倪明,赵建波.一种基于分布式平台Hadoop的矩阵相乘算法.计算机系统应用,2013,22(12):149-154

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2013-05-21
  • 最后修改日期:2013-06-24
  • 录用日期:
  • 在线发布日期: 2013-12-12
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号