基于节点负载的数据动态分区
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:


Dynamic Data Partition Based on Node Load
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    一种基于节点负载的数据动态分区系统, 主要考虑节点CPU、内存、带宽负载情况, 首先采用二次平滑法预测节点的负载, 再结合AHP和熵值指标权重法得到每个节点的处理能力, 最后针对不同应用场景动态地调整系统的负载均衡性, 提高应用的响应速度; 该系统主要包括负载监测采集、预测、数据预分区、数据迁移等模块. 由于分布式环境存在节点资源的异构性, 为了数据分析计算过程中减少节点之间数据的传输, 充分利用节点计算资源, 通过负载均衡性提高应用分析的并行计算速度. 为此, 本文提出一种基于节点负载的数据动态分区机制和策略来改善系统负载均衡性及提高应用的响应速度, 辅助相关工作人员完成决策. 本论文结合Spark和Elasticsearch集成的数据分析应用场景进行测试.

    Abstract:

    A dynamic data partition system based on node load mainly considers the load of CPU, memory, and bandwidth of nodes. It first uses the quadratic smoothing method to predict the load of nodes, then combines AHP and entropy index weight to get the processing capacity of each node, and finally dynamically adjusts the load balance of the system for different application scenarios to improve the response speed of applications. It includes the modules of load monitoring and collection, prediction, data pre-partition, and data migration. Given the heterogeneity of node resources in a distributed environment, it aims to reduce the data transmission between nodes in the process of data analysis and calculation, make full use of node computing resources, and improve the parallel computing speed of application analysis through load balancing. Therefore, this study proposes a dynamic partition data mechanism based on node load to improve the system load balance and application response speed and assist the relevant staff in making the decision. This study combines data analysis application scenarios integrating Spark and Elasticsearch for testing.

    参考文献
    相似文献
    引证文献
引用本文

孟令伍,杨阳朝,黄晓明,练丽萍.基于节点负载的数据动态分区.计算机系统应用,2021,30(12):299-307

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-03-02
  • 最后修改日期:2021-03-29
  • 录用日期:
  • 在线发布日期: 2021-12-10
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号