面向物流服务的海量日志实时流处理平台
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

陕西省2020年技术创新引导专项(基金)(2020CGXNG-012)


Real-Time Stream Processing Platform for Massive Logs of Logistics Services
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    随着电商平台的快速发展, 物流行业增长迅猛, 其中物流服务平台的访问日志能够反映用户的行为规律, 从而挖掘潜藏信息助力物流服务平台优化业务已至关重要. 目前, 针对于此类大规模日志数据处理提出了更高的实时性需求, 本文综合考量多种实时计算的流处理框架、大规模存储数据库以及日志采集工具等, 选取Flume及Kafka作为日志采集工具与消息队列, 并利用Flink及HBase进行流数据实时计算以及大规模数据存储. 同时, 对平台设计了数据去重、异常告警、容错策略以及负载调度的功能. 经实验测试证明, 本处理平台可以有效处理物流服务平台的日志数据, 具有较强的创新思路以及实际价值.

    Abstract:

    With the rapid development of e-commerce platforms, the logistics industry is at a high rate of growth. The access logs of the logistics service platform can reflect user behavior, so it is very important to tap the hidden information to help the logistics service platform optimize the business. At present, higher real-time requirements are imposed on large-scale log data processing. This study comprehensively considers a variety of stream processing frameworks capable of real-time computing, large-scale storage databases, log collection tools, etc. It chooses Flume and Kafka as the log collection tools and message queues and uses Flink and HBase for real-time calculation of streaming data and large-scale data storage. At the same time, the functions including data deduplication, abnormal alarms, fault tolerance strategy, and load scheduling are designed for the platform. Experimental tests have proved that this processing platform can efficiently process log data of the logistics service platform, with innovative ideas and practical value.

    参考文献
    相似文献
    引证文献
引用本文

梁方玮,薛涛.面向物流服务的海量日志实时流处理平台.计算机系统应用,2021,30(10):68-75

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-01-03
  • 最后修改日期:2021-01-29
  • 录用日期:
  • 在线发布日期: 2021-10-08
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号