大规模空间矢量数据分布式存储与计算优化
作者:
基金项目:

国家重点研发计划(2018YFD1100103-05); 自然资源部部委计划(1902-033-14)


Storage and Computing Optimization of Large Scale Distributed Spatial Vector Data
Author:
  • 摘要
  • | |
  • 访问统计
  • |
  • 参考文献 [13]
  • |
  • 相似文献 [20]
  • | | |
  • 文章评论
    摘要:

    针对海量空间矢量数据分布式存储与计算需求, 研究了基于四叉树格网编码建立要素索引的方法, 设计了HBase预分区优化策略, 提出了一种空间矢量数据分布式存储模型. 基于MapReduce计算框架, 构建了空间数据分布式计算与分析的优化流程. 最后, 针对空间叠加与统计场景, 采用一定规模的业务数据对所提的方法进行测试, 验证了设计方案的可行性和有效性.

    Abstract:

    Research on distributed storage and computing technology of spatial vector data is carried out. The method of quadtree grid coding to establish feature index is studied. HBase pre-partition optimization strategy is designed, a distributed storage model of spatial vector data is proposed. Based on MapReduce computing framework, the process of spatial data distributed computing and analysis is built. For the common application scenario of spatial overlay analysis and statistics, a large-scale data test is carried out. The results show that the scheme is effective.

    参考文献
    [1] 陈崇成, 林剑峰, 吴小竹, 等. 基于NoSQL的海量空间数据云存储与服务方法. 地球信息科学学报, 2013, 15(2): 166–174
    [2] 李德仁. 展望大数据时代的地球空间信息学. 测绘学报, 2016, 45(4): 379–384
    [3] 李斌, 郭景维, 彭骞. 面向大数据存储的HBase二级索引设计. 计算技术与自动化, 2019, 38(2): 124–129
    [4] 魏玲, 魏永江, 高长元. 基于Bigtable与MapReduce的Apriori算法改进. 计算机科学, 2015, 42(10): 208–210, 243
    [5] 周经纬. 矢量大数据高性能计算模型及关键技术研究[博士学位论文]. 杭州: 浙江大学, 2016.
    [6] 王凯, 曹建成, 王乃生, 等. Hadoop支持下的地理信息大数据处理技术初探. 测绘通报, 2015, (10): 114–117
    [7] 范建永, 龙明, 熊伟. 基于HBase的矢量空间数据分布式存储研究. 地理与地理信息科学, 2012, 28(5): 39–42
    [8] 李振举, 李学军, 谢剑薇, 等. 基于HBase的海量地形数据存储. 计算机应用, 2015, 35(7): 1849–1853
    [9] 朱进, 胡斌, 邵华, 等. 基于内存数据库Redis的轻量级矢量地理数据组织. 地球信息科学学报, 2014, 16(2): 165–172
    [10] 祝琳莹, 张丰, 杜震洪, 等. 基于HBase与静态多级格网索引的地表覆盖数据高效检索方法. 浙江大学学报(理学版), 2018, 45(5): 595–604
    [11] 郑美霞, 王彦兵, 马翔旭. 基于四叉树索引构建TIN的高效合成算法. 地理与地理信息科学, 2012, 28(2): 20–23
    [12] 陈俊欣. 基于Hadoop的空间矢量数据的分布式存储与查询研究[硕士学位论文]. 成都: 电子科技大学, 2016.
    [13] 付仲良, 胡玉龙, 翁宝凤, 等. M-Quadtree索引: 一种基于改进四叉树编码方法的云存储环境下空间索引方法. 测绘学报, 2016, 45(11): 1342–1351
    引证文献
    网友评论
    网友评论
    分享到微博
    发 布
引用本文

张嘉,白晓飞,陶超,张小桐.大规模空间矢量数据分布式存储与计算优化.计算机系统应用,2020,29(12):251-256

复制
分享
文章指标
  • 点击次数:1006
  • 下载次数: 3605
  • HTML阅读次数: 1633
  • 引用次数: 0
历史
  • 收稿日期:2020-05-14
  • 最后修改日期:2020-06-10
  • 在线发布日期: 2020-12-02
文章二维码
您是第11183081位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号