一种MapReduce实时调度算法设计及实现
DOI:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

江苏省产学研前瞻性联合研究项目(BY2009128)


Design and Implementation of a Real-time Scheduling Algorithm for MapReduce
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    MapReduce是云计算中重要的批数据处理框架, 多任务共享MapReduce机群并满足任务实时性要求是调度算法急需解决的问题. 提出两阶段实时调度算法, 将调度划分为任务间调度和任务内调度. 对于任务间调度, 使用抽样法和经验值法确定子任务执行时间, 利用该参数建立资源分配模型, 动态确定任务优先级进行调度; 对于子任务使用延迟调度策略进行调度, 保证计算的本地性. 实验结果显示, 两阶段实时调度算法相比公平调度算法和FIFO算法, 在保证吞吐量的同时能够满足任务实时性要求.

    Abstract:

    MapReduce is a popular batch data processing framework in cloud computing field. Sharing MapReduce cluster and meeting the deadlines of jobs is a key problem to be solved. This paper proposes a two phase real-time scheduling algorithm which separate scheduling into job scheduling and task scheduling.It uses sampling method to estimate the task excuting time so that the scheduler can make a decision on how many slots should be assigned to the job and how to calculate the job's priority. Using delay-scheduling scheme in task scheduling, the"computing locality"problem can be solved well. Experiments result shows that the scheduling algorithm implemented in this paper satisfies the job's real-time requirement as well as throughput of the cluster.

    参考文献
    相似文献
    引证文献
引用本文

刘吉,陈香兰,代栋,孙明明,周学海.一种MapReduce实时调度算法设计及实现.计算机系统应用,2013,22(8):113-119

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2013-01-13
  • 最后修改日期:2013-03-08
  • 录用日期:
  • 在线发布日期: 2013-09-06
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号