基于云存储的重复数据删除架构的研究与设计
DOI:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:


Research and Design of Data De-duplication Architecture Based on Cloud Storage
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    随着云计算的发展, 云存储技术通过集群应用、虚拟化技术、分布式文件系统等功能将网络中大量各种不同类型的存储设备集合起来协同工作, 缓解了老式数据中心的存储压力. 另外, 重复数据删除技术是一种缩减存储空间减少网络传输量的技术, 随着云的广泛应用也势必会发展应用于云存储中. 这两种技术结合将会给IT存储业带来实际效益. 本文通过研究重复数据删除技术、云存储技术, 设计了基于云存储的重复数据删除架构, 提出了一种用In-line方式在客户端进行数据块级与字节级相结合的重复数据删除操作后再将数据存入云中的方案. 在本架构下, 海量数据存储在HDFS中; 而文件数据块的哈希值存储在HBase中.

    Abstract:

    With the development of cloud computing, the cloud storage technology gets a large variety of different types of network storage devices together to work collaboratively by clustering applications, virtualization, Distributed File System, alleviating the pressure of old data center storage. Besides, Data De-duplication is a technology that reduces storage space and lowers the network transmission. And it is going to be adaptable for cloud storage system one day. The combination of these two technologies will bring real benefits to IT storage industry. The paper has designed a de-duplication architecture based on cloud storage, proposed a scheme which runs at the client with In-line manner to eliminate duplicated data in chunk level, and then put those data into cloud. Under this architecture, HDFS stores the mass data while HBase stores hash value of data block.

    参考文献
    相似文献
    引证文献
引用本文

宋雨,易璐,王凤霞.基于云存储的重复数据删除架构的研究与设计.计算机系统应用,2013,22(1):208-211

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2012-06-21
  • 最后修改日期:2012-08-06
  • 录用日期:
  • 在线发布日期:
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号