基于Filebeat自动收集Kubernetes日志的分析系统
作者:

Analysis System Based on Filebeat Automated Collection of Kubernetes Log
Author:
  • 摘要
  • | |
  • 访问统计
  • |
  • 参考文献 [10]
  • |
  • 相似文献 [20]
  • | | |
  • 文章评论
    摘要:

    Docker容器产生的日志分散在不同的相互隔离的容器中,并且容器具有即用即销的特点,传统的解决方式是将日志文件挂载到宿主机上,但是容器经常会漂移,给日志的统一查看带来挑战,并且传统的Docker容器集群日志分析系统存在扩展性弱、效率低下等问题.本文采用Kubernetes实现容器管理、服务发现及调度,使用Filebeat采集容器及宿主机上的日志文件,并使用Redis作为缓存,Logstash转发,使用主流的开源日志收集系统ELK实现日志的存储、查看、检索.该系统具有可靠性、可扩展性等特点,提高运维人员的工作效率.

    Abstract:

    The logs generated by Docker containers are scattered in different isolated containers, and the container has the characteristics of "ready to use". The traditional solution is to mount the log files to the host, but the containers often drift, bringing challenges to the unified view of the log, while the traditional Docker container log analysis system has the problems of weak expansibility and low efficiency. This study uses Kubernetes to implement container management, service discovery and scheduling, uses Filebeat to collect log files on containers and host computers, Redis as a cache, Logstash forwarding, and uses the mainstream open source log collection system ELK to store, view, and retrieve log. The system has the characteristics of real time, reliability and extensibility, and improves the efficiency of operation and maintenance personnel.

    参考文献
    1 宋密, 王劲松. 基于Flume的网络安全可视化系统. 天津理工大学学报, 2015, 31(2):38-42.[doi:10.3969/j.issn.1673-095X.2015.02.009]
    2 李明, 郭洋, 蒋明. 基于Docker的虚拟化技术研究. 中国新通信, 2017, 19(9):73-74.[doi:10.3969/j.issn.1673-4866.2017.09.062]
    3 刘思尧, 李强, 李斌. 基于Docker技术的容器隔离性研究. 软件, 2015, 36(4):110-113.[doi:10.3969/j.issn.1003-6970.2015.04.025]
    4 陈清金, 陈存香, 张岩. Docker技术实现分析. 信息通信技术, 2015, 9(2):37-40.
    5 Burns B, Grant B, Oppenheimer D, et al. Borg, omega, and kubernetes. Queue, 2016, 14(1):10.
    6 陈建娟, 刘行行. 基于Kubernetes的分布式ELK日志分析系统. 电子技术与软件工程, 2016, (15):211-212, 214.
    7 罗东锋, 李芳, 郝汪洋, 等. 基于Docker的大规模日志采集与分析系统. 计算机系统应用, 2017, 26(10):82-88.[doi:10.15888/j.cnki.csa.005997]
    8 周德永, 王瑞刚, 梁小江. 基于ELK自动化收集Docker容器日志的分析系统. 电子设计工程, 2017, 25(19):50-55.[doi:10.3969/j.issn.1674-6236.2017.19.013]
    9 Carlson JL. Redis in action. Shelter Island, NY:Manning Publications Company, 2013.
    10 Gormley C, Tong Z. Elasticsearch:The definitive guide:A distributed real-time search and analytics engine. Sebastopol, CA:O'Reilly Media, Inc., 2015.
    引证文献
    网友评论
    网友评论
    分享到微博
    发 布
引用本文

翟雅荣,于金刚.基于Filebeat自动收集Kubernetes日志的分析系统.计算机系统应用,2018,27(9):81-86

复制
分享
文章指标
  • 点击次数:2040
  • 下载次数: 5121
  • HTML阅读次数: 5697
  • 引用次数: 0
历史
  • 收稿日期:2018-01-03
  • 最后修改日期:2018-01-23
  • 在线发布日期: 2018-08-17
文章二维码
您是第12435858位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号