基于Docker的大规模日志采集与分析系统
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金(61273323)


Large-Scale Log Collection and Analysis System Based on Docker
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 增强出版
  • |
  • 文章评论
    摘要:

    传统日志分析技术在处理大规模日志时存在效率低、功能简单、实际应用扩展性弱等问题.为解决这些问题,设计了基于Docker的大规模日志采集与分析系统.系统分为数据采集、数据缓存、数据转发、数据存储、数据检索和展示五层,支持从不同数据源采集各种类型的日志,通过Kafka消息队列提供可靠数据传输,利用Elasticsearch实现数据分布式存储和检索,并以可视化方式分析日志.同时采用Docker容器技术实现系统的快速部署和版本控制.该系统具有实时性、可扩展性、易部署等特点.实验结果表明了该系统可行有效,具有良好的实用价值.

    Abstract:

    The traditional log analysis technology has low efficiency, simple function, poor scalability in practice in processing the large-scale log. To solve these problems, a large-scale log collection and analysis system based on Docker is designed. There are five layers including data collection, data cache, data forwarding, data storage, data retrieval and display in the system. And the system can take in any type of log files from different data sources, provide reliable data transmission through Kafka message queue, utilize Elasticsearch to realize distributed storage and retrieval of data, and analyze log by means of visualization. Meanwhile, the use of docker container technology can realize rapid deployment and version control of the system. The system has the characteristics of real-time, scalability, easy deployment and so on. The experimental results show that the system is feasible and effective with good practical value.

    参考文献
    相似文献
    引证文献
引用本文

罗东锋,李芳,郝汪洋,吴仲城.基于Docker的大规模日志采集与分析系统.计算机系统应用,2017,26(10):82-88

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2017-01-13
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2017-10-31
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号