基于PostgreSQL的海量准实时数据服务平台访问方案
作者:

PostgreSQL-Based Big Data Access Scheme of Massive Quasi-Real-Time Data Service Platform
Author:
  • 摘要
  • | |
  • 访问统计
  • |
  • 参考文献 [10]
  • |
  • 相似文献 [20]
  • | | |
  • 文章评论
    摘要:

    大数据服务平台在电网系统中具有重要的应用价值.海量准实时数据平台作为电网重要数据中心,存储了大量有价值的数据,其存储的数据多为非结构化数据,无法直接通过SQL语句获取.为了最大限度挖掘数据价值,需要在平台中集成SQL访问实时数据的功能.为此,本文基于PostgresSQL Foreign Data Wrapper (Postgres_fdw)开发了SQL引擎.通过分析PostgresSQL的功能特点以及已有UAPI接口的不足,针对原有大数据平台框架,采用分层策略,基于Postgres_fdw开发了SQL引擎,并提出了针对海量平台中实时数据库的外部表空间估算方案和SQL解析方案,以此实现数据平台运用SQL的方式获取底层海量平台数据的功能.现场功能和性能测试,验证了该引擎的有效性.

    Abstract:

    Big data services platform has important applications in the power distribution system. Massive quasi-real-time data service platform is a key data center in power grid, and a lot of valuable data is stored in the platform. The data in platform is unstructured, and cannot be selected by SQL statement. To maximize mining the data value, platform needs to integrate function that the accesses to real-time data, for this develop SQL engine based on PostgresSQL foreign data wrapper (Postgres_fdw). The SQL engine proposes a foreign table space estimation scheme and SQL resolution scheme for real-time databases in massive platforms. This access scheme provided good support for big data platform to get data from the underlying massive data service platform with an SQL way. Field function and performance tests validated the effectiveness of the engine.

    参考文献
    [1] Drake JD. PostgreSQL的发展动态. 软件和集成电路, 2018, (7):58-59
    [2] 宋亚奇, 周国亮, 朱永利. 智能电网大数据处理技术现状与挑战. 电网技术, 2013, 37(4):927-935
    [3] Zaharia M, Chowdhury M, Franklin MJ, et al. Spark:Cluster computing with working sets. Book of Extremes, 2010, 15(1):1765-1773
    [4] 陈宇, 阳国贵, 吴妍, 等. GKD-PL/SQL引擎中表达式处理模块的设计与实现. 计算机工程, 2005, 31(14):105-106, 110.[doi:10.3969/j.issn.1000-3428.2005.14.038
    [5] Jiang ZM, Hassan AE. Examining the evolution of code comments in PostgreSQL. Proceedings of 2006 International Workshop on Mining Software Repositories. Shanghai, China. 2006. 179-180.
    [6] 刘宏杰. PostgreSQL数据库及应用. 石油工业计算机应用, 2002, (3):17-21
    [7] 孙乔, 焦艳斌. 实时数据库系统研发及其在智能电网中的应用. 电力信息化, 2012, 10(11):105-109.[doi:10.3969/j.issn.1672-4844.2012.11.023
    [8] Armbrust M, Xin R S, Lian C, et al. Spark SQL:Relational data processing in spark. Proceedings of 2015 ACM SIGMOD International Conference on Management of Data. Melbourne, Victoria, Australia. 2015. 1383-1394.
    [9] Karun KA, Chitharanjan K. A review on hadoop-HDFS infrastructure extensions. Proceedings of 2013 IEEE Conference on Information & Communication Technologies. Thuckalay, Tamil Nadu, India. 2013. 132-137.
    [10] 李绍飞, 汤朝波, 茅海泉. 基于SOA的海量准实时数据服务平台接入/访问研究. 计算机测量与控制, 2018, 26(4):250-253
    引证文献
    网友评论
    网友评论
    分享到微博
    发 布
引用本文

李钢,茅海泉.基于PostgreSQL的海量准实时数据服务平台访问方案.计算机系统应用,2019,28(2):274-279

复制
分享
文章指标
  • 点击次数:2356
  • 下载次数: 2671
  • HTML阅读次数: 3107
  • 引用次数: 0
历史
  • 收稿日期:2018-08-01
  • 最后修改日期:2018-09-05
  • 在线发布日期: 2019-01-28
  • 出版日期: 2019-02-15
文章二维码
您是第12828882位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号