基于爬虫的数据监控系统
作者:
基金项目:

中国科学院十二五信息化专项《科研信息化应用推进工程》(XXH12503)


Spider-Based Data Monitor System
Author:
  • 摘要
  • | |
  • 访问统计
  • |
  • 参考文献 [12]
  • |
  • 相似文献 [20]
  • | | |
  • 文章评论
    摘要:

    近年来,随着互联网技术的快速发展,云计算服务开始全面普及,大型互联网公司以及中小型企业已经开始提供自己的云计算服务,中国科学院也提供了云计算服务平台——中科院“科技云”.本文针对中国科学院“科技云”项目的实际需求,参考已有商业云监控系统的功能和运行模式,设计并实现了一种基于爬虫的数据监控系统.该系统相比商业云监控系统,支持URL(布尔)类型数据监测的同时,增加了对数值类型、文本类型的监测,更好的支持第三方服务的监测,并实现了服务故障警报,监测数据可视化以及监测数据分布式存储.

    Abstract:

    In recent years, with the rapid development of Internet technology, cloud computing services begin to widely spread. Large-scale Internet companies, small and medium enterprises have begun to provide their own cloud computing services. The Chinese Academy of Sciences also provides a cloud computing service platform-CAS "science-cloud". Concerned with the actual needs of the "Science Cloud" project of the Chinese Academy of Sciences, this paper designs and implements a spider-based data monitoring system referencing the function and operation mode of the existing commercial cloud monitoring systems. Compared with the commercial cloud monitoring system, this system supports the monitoring of URL (Boolean) type data, adds the monitoring of numeric types and text types, supports better monitoring of the third party services, and realizes service failure alarm and monitoring data Visualization and monitoring data distributed storage.

    参考文献
    [1] Aceto G, Botta A, DE Donato W, et al. Cloud monitoring: A survey. Computer Networks, 2013, 57(9): 2093-2115.[DOI:10.1016/j.comnet.2013.04.001]
    [2] Armbrust M, Fox A, Griffith R, et al. A view of cloud computing. Communications of the ACM, 2010, 53(4): 50-58.[DOI:10.1145/1721654]
    [3] Mell P, Grance T. The NIST definition of cloud computing. Communications of the ACM, 2010, 53(6): 50-50.
    [4] Varia J, Mathew S. Overview of amazon web services. Amazon Web Services, 2014.
    [5] 云监控. http://www.aliyun.com/product/jiankong/.
    [6] 基础监控BCM. https://www.qcloud.com/product/cm. html#wiki.
    [7] 刘继红, 吴军华, 任明鑫. 基于改进的网络蜘蛛算法抽取Web站点结构的方法. 江南大学学报(自然科学版), 2009, 8(5): 555-559.
    [8] 徐远超, 刘江华, 刘丽珍, 等. 基于Web的网络爬虫的设计与实现. 微计算机信息, 2007, 23(21): 119-121.[DOI:10.3969/j.issn.1008-0570.2007.21.048]
    [9] 邵佩英. 分布式数据库系统及其应用. 北京: 科学出版社, 2000.
    [10] 庞惠, 翟正利. 论分布式数据库. 电脑知识与技术, 2011, 7(2): 271-273.
    [11] 胡利强, 周冬初, 王伟. Quartz调度器与Web程序整合的研究和应用. 计算机与现代化, 2010, (8): 98-99, 104.
    [12] 邱硕. Cobar的架构与实践. 程序员, 2012, (9): 90-93.
    引证文献
    网友评论
    网友评论
    分享到微博
    发 布
引用本文

董博,李翀,刘学敏,董科军.基于爬虫的数据监控系统.计算机系统应用,2017,26(10):53-60

复制
分享
文章指标
  • 点击次数:2058
  • 下载次数: 2171
  • HTML阅读次数: 0
  • 引用次数: 0
历史
  • 收稿日期:2017-01-10
  • 在线发布日期: 2017-10-31
文章二维码
您是第12794077位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号