众核与Spark结合的高速流量监测系统
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

重庆市基础科学与前沿技术研究重点项目(cstc2015jcyjB0415);重庆市科技创新领军人才计划支持项目(CSTCKJCXLJRC20)


High-Speed Traffic Monitoring System Based on Many-Core and Spark
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    互联网应用的广泛普及导致了互联网流量的高速增长,这给网络运营商运营带来了巨大挑战,传统的流量监测系统的性能和可扩展性已经无法满足运营商的需求.本文尝试将众核技术与Spark相结合,基于校园网流量,提出了众核与Spark结合的高速流量监测系统.其中,众核处理器负责高速的流量采集、处理以及流量日志生成;Spark平台负责存储流量日志数据,并对其进行高速并行分析;Web Server负责数据的可视化.本文以校园网DNS流量为监测对象充分验证了该方案的可行性与扩展性.

    Abstract:

    Popularity of Internet applications has led to the rapid growth of Internet traffic, which brings great challenges for Network operators, and the performance and scalability of traditional flow monitor system cannot meet the needs of operators. Based on the campus network traffic monitoring, this paper attempts to combine many-core technology with Spark, and presents a high-speed traffic monitor system. Many-core processor part is responsible for high-speed traffic collection, processing and log generation; Spark platform handles the distributed storage of large amounts of log data and its high-speed parallel processing. Web Server is used for data visualization. The DNS traffic of the campus network is taken as the object of monitoring, which verifies the feasibility and extensibility of the system.

    参考文献
    相似文献
    引证文献
引用本文

周小宇,雒江涛,罗林,唐刚.众核与Spark结合的高速流量监测系统.计算机系统应用,2017,26(6):112-117

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2016-11-22
  • 最后修改日期:2017-01-04
  • 录用日期:
  • 在线发布日期: 2017-06-08
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号