基于FTP协议的数据服务解决方案
作者:
作者单位:

作者简介:

通讯作者:

基金项目:

中国科学院A类战略性先导科技专项(XDA19000000)


Data Service Solution Based on FTP Protocol
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
    摘要:

    随着数据的不断积累, 数据存储系统已经由单节点、小规模的文件系统演变成支持海量数据存储的分布式文件系统. 分布式文件系统中的大规模数据如何能够面向用户提供简洁、高效和稳定的数据上传下载服务成为了广泛研究的问题. 为此, 本文提出了基于FTP协议的数据服务端的解决方案, 该方案包括利用缓冲区、协程、多线程等技术优化传输模型和传输算法, 使得数据流能进行高速传输. 同时, 配合Keepalived (开源的系统高可用解决方案)与LVS实现了高可用、高并发以及良好的拓展性, 在FTP协议之上修改使得服务端支持动态验证、用户隔离并兼容多种编码格式. 在实际的运行中, 以中国科技云iHarbor存储系统为例, 验证了本文提出方案的有效性、可靠性以及高性能的数据传输效果, 可以充分满足用户的需求.

    Abstract:

    With the continuous accumulation of data, the data storage system has evolved from a single-node, small-scale file system to a distributed file system that supports massive data storage. How to provide simple, efficient and stable data uploading and downloading service for users has become an extensive research problem in distributed file system. To this end, we propose a server-side solution based on FTP protocol, which includes the use of buffer, coroutine, multi-process, and other technologies to improve the algorithms and optimize the transmission model, so that the data flow can be transferred rapidly. The proposed solution achieves high availability, high concurrency, and good scalability with the cooperation of Keepalived and LVS. Modifications to the FTP protocol makes the server support dynamic validation and compatible with multiple encoding formats. In the actual operation, taking storage system of China Science and Technology Cloud, i.e. iHarbor, as an example, the effectiveness, reliability, and performance of data transmission of the proposed solution are verified, which can fully meet the needs of users.

    参考文献
    相似文献
    引证文献
引用本文

李云,张海明.基于FTP协议的数据服务解决方案.计算机系统应用,2021,30(1):63-69

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
历史
  • 收稿日期:2020-05-25
  • 最后修改日期:2020-06-16
  • 录用日期:
  • 在线发布日期: 2020-12-31
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号