基于Apache Spark的地震观测数据噪声功率谱计算
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家重点研发计划(2018YFC1504500);中国地震局监测、预报、科研三结合课题(3JH-20200207)


Noise Power Spectrum Calculation Method of Seismic Data Based on Apache Spark
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    为解决单机环境下海量地震观测数据计算和分析效率低下的问题, 提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法, 选择噪声功率谱复杂计算过程的应用场景进行实现. 基于Hadoop在海量数据处理上的性能优势, 在分布式文件存储系统HDFS上进行地震观测数据的存储和调度, 研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现, 采用弹性数据集Spark RDD将计算任务自动分配到计算节点, 解析存储在HDFS中的测震波形数据, 计算结果采用RowKey方式放入分布式数据库HBase中, 实现了长周期地震噪声功率谱结果的存储和提取. 计算结果表明, 基于Spark分布式架构的该方法可以支撑TB级海量数据的处理, 并且具有较高的处理效率, 可应用于海量地震观测数据的分析计算.

    Abstract:

    To solve the problem of inefficient calculation and analysis of massive seismic data in a single machine environment, we propose a distributed architecture based method for storage, calculation, and analysis of seismic data and select the complex calculation process of a noise power spectrum as the application scenario for implementation. In light of Hadoop’s performance advantage in massive data processing, the storage and scheduling of seismic data are carried out on the Hadoop Distributed File System (HDFS). The implementation of the quality evaluation method for the noise power spectrum of seismic data in Spark distributed computing architecture is studied. The elastic dataset Spark RDD is used to automatically allocate the tasks to the computing nodes, and the seismic waveform data stored in HDFS is analyzed. In addition, the calculation results are input into the distributed database HBase in the RowKey mode, realizing the storage and extraction of the power spectra of long-period seismic noise. The calculation results show that the method based on Spark distributed architecture can support the efficient processing of massive data at the TB level in volume, which can be applied to the analysis and calculation of massive seismic data.

    参考文献
    相似文献
    引证文献
引用本文

郭凯,黎建辉,温亮明,韩振华.基于Apache Spark的地震观测数据噪声功率谱计算.计算机系统应用,2021,30(8):126-132

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-11-11
  • 最后修改日期:2020-12-12
  • 录用日期:
  • 在线发布日期: 2021-08-03
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号