基于纠删码的HDFS存储方案
DOI:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:


HDFS Storage Solutions Based on Erasure Codes
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    HDFS文件系统通过多副本备份的方式解决数据损坏或丢失的问题, 但是随着存储系统内容增多, 在数据量级很大的时候, 这种容灾方案消耗的额外存储空间是实际存储内容的数倍, 不利于系统资源长期积累. 文章提出使用纠删码编/解码文件代替HDFS的副本备份容灾策略, 在保证数据安全性的前提下大大提高了存储空间利用率, 降低存储额外消耗.

    Abstract:

    Through the multiple-backup strategy HDFS can restore data easily when data is damaged or missed. However, the data stored in system increases all the time. When the data scale has become very big, the strategy will need several times of storage space to store the backup data. This article proposes to use erasure codes to replace the multiple-backup strategy, which can greatly improve the storage efficiency and reduce extra storage expend.

    参考文献
    相似文献
    引证文献
引用本文

卞艺杰,马瑞敏,李亚冰,吴慧.基于纠删码的HDFS存储方案.计算机系统应用,2014,23(11):208-213

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2014-03-11
  • 最后修改日期:2014-04-08
  • 录用日期:
  • 在线发布日期: 2014-11-20
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号