HPMR内存管理模块优化设计
DOI:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

工信部核高基重大专项(2009X01028-002-003);安徽省自然科学基金(090412068)


Optimized Design for Memory Management Module in HPMR
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    HPMR系统是一个采用MapReduce模型的高性能计算软件支撑平台,它改进了MapReduce模型以适应高性能计算的需求.高效的HPMR系统内存管理模块是保证其效率的重要模块.HPMR系统中有两个角色,Master和Worker.Master负责从输入数据文件中读入数据块并分配给Workers.Worker负责接收master分配的数据块、管理map函数的输入输出模块的输入输出数据、管理reduce函数输入输出数据.目前的内存管理模块存在管理通信冗余、管理低效、数据处理并行不足等缺点.本文根据成熟的内存

    Abstract:

    HPMR is a high performance computing platform based on MapReduce model. It has improved the MapReduce model to meet the need of high performance computing. Efficient memory management module ensures the efficiency of HPMR. There are two roles in HPMR, Master and worker. Master reads data blocks from the input data file and assign them to workers. Worker receives the data blocks from master, manages input and output module of the map and reduce function. The current memory management module in HPMR has some shortcomings: redundancy, inefficiency and lack of parallelism. This paper redesigned the underlying data management mechanism of HPMR based on mature memory optimization theory, proposed new memory management way based on memory pool. Experiments show that the new memory management module is necessary for efficient HPMR system.

    参考文献
    相似文献
    引证文献
引用本文

郑启龙,汪睿,王向前. HPMR内存管理模块优化设计.计算机系统应用,2011,20(8):104-109

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2010-12-08
  • 最后修改日期:2011-01-15
  • 录用日期:
  • 在线发布日期:
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号