面向纠删码的高性能冗余转换机制
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金面上项目(62172382)


High Performance Redundancy Transitioning Scheme for Erasure Coding
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    分布式存储系统采用纠删码来实现高可靠和低开销的数据存储. 为了提供不同的可靠性和多样的访问性能, 存储系统需要对纠删码数据进行冗余转换, 即改变其编码参数. 条带合并机制为存储系统的冗余转换提供了一种思路. 然而, 基于传统纠删码的条带合并会在过程中引发大量的数据块重分布和校验块重计算I/O开销, 且在多次合并中会进一步加剧I/O. 针对此问题, 本文提出了一种新的树型里德-所罗门码, 通过分散数据块以消除数据块重分布I/O, 并通过设计编码矩阵以节约校验块重计算I/O. 树型里德-所罗门码进一步设计了存储单元, 将参与合并的条带组织成一颗树, 使得多次合并依据树结构自底向上高效完成. 本文设计实现了分布式存储原型系统. 实验表明, 树型里德-所罗门码相较于传统纠删码, 可以大大减少条带合并的完成时间.

    Abstract:

    Distributed storage systems achieve high-reliability and low-overhead data storage by erasure code. To provide different reliability and access performance, storage systems need to perform redundancy transitions on erasure code data by changing coding parameters. The stripe merging mechanism provides a way for redundancy transitioning in storage systems. However, the stripe merging process based on traditional erasure code can result in a large amount of data block redistribution and checksum block re-computation I/O overhead. Worst still, the I/Os will be amplified in multiple merging operations. In response to these issues, this study proposes new Tree Reed-Solomon (TRS) codes that eliminate data block redistribution I/Os by decentralizing data blocks, and save checksum block re-computation I/Os by designing coding matrices. TRS codes further design storage units to organize the stripes taking part in merging into a tree, enabling multiple merging operations to be efficiently completed from bottom to top based on tree structure. To test the performance of TRS codes, this study designs and implements a distributed storage prototype. Experiments have shown that compared to other erasure codes, TRS codes can greatly reduce stripe merging operation time.

    参考文献
    相似文献
    引证文献
引用本文

柏志伟,吕敏.面向纠删码的高性能冗余转换机制.计算机系统应用,,():1-11

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-06-28
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2024-11-28
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号