基于Apache Spark的MODIS海表温度反演方法
作者:
基金项目:

国家自然科学基金(41771422);湖北省自然科学基金(2017CFB616)


Retrieving Method for MODIS Sea Surface Temperature with Apache Spark
Author:
  • 摘要
  • | |
  • 访问统计
  • |
  • 参考文献 [11]
  • |
  • 相似文献 [20]
  • | | |
  • 文章评论
    摘要:

    为应对海量遥感影像快速计算的需求,通过对影像获取、算法和计算过程优化和改进,提出了一种基于Apache Spark并行计算框架的MODIS海表温度反演方法,实现了海量MODIS遥感影像的海表温度快速反演.应用四轮网络查询请求获取特定的时空范围影像数据,提高影像获取阶段的效率;应用简化算法参数、拟合过程变量改进海表温度劈窗算法,使之适合快速并行计算;应用弹性分布式数据集(RDD)窄依赖关系的优点,避免并行计算中的数据交换延迟.通过单机模式与集群模式对比实验,发现集成了并行计算框架的集群模式影像处理效率约为单机模式的10倍.研究结果表明了融合集群计算技术的海表温度反演过程有效提高了传统单机应用程序的处理效率.

    Abstract:

    In response to computing problems of massive remote sensing images, a method based on Apache Spark is proposed and implemented in retrieving MODIS Sea Surface Temperature (SST) by optimizing and improving the image acquisition, algorithm, and computing process. It applied four bouts of network requests to acquire user-defined data of specific time and zones to improve the efficiency of image acquisition. For a parallelizable algorithm, improvements that reduce parameters and simplify intermediate models are added to the split window algorithm, thus to adapt to fast parallelized computing. Taking advantage of narrow dependence between Resilient Distributed Datasets (RDD), delays for partitions' interactions are evaded. With comparison between single mode and cluster mode, the latter incorporated with Apache Spark has an efficiency of ten times to the former. This study proves that, comparing with a single machine's, programs that retrieving MODIS SST with cluster computing techniques has a higher efficiency.

    参考文献
    1 Mcmillin LM. Estimation of sea surface temperatures from two infrared window measurements with different absorption. Journal of Geophysical Research, 1975, 80(36):5113-5117.[doi:10.1029/JC080i036p05113]
    2 覃志豪, 高懋芳, 秦晓敏, 等. 农业旱灾监测中的地表温度遥感反演方法——以MODIS数据为例. 自然灾害学报, 2005, 14(4):64-71.[doi:10.3969/j.issn.1004-4574.2005. 04.011]
    3 朱义明. 基于Hadoop平台的图像分类. 西南科技大学学报, 2011, 26(2):70-73.[doi:10.3969/j.issn.51-1660/C.2011.02.015]
    4 付天新, 刘正军, 闫浩文. 基于MapReduce模型的生物量遥感并行反演方法研究. 干旱区资源与环境, 2013, 27(1):130-136.
    5 Almeer MH. Cloud hadoop map reduce for remote sensing image analysis. Journal of Emerging Trends in Computing and Information Sciences, 2012, 3(4):637-644.
    6 常生鹏, 马亿旿, 蔡立军, 等. 一种基于Hadoop的高分辨率遥感图像处理方法. 计算机工程与应用, 2015, 51(11):167-171.[doi:10.3778/j.issn.1002-8331.1403-0121]
    7 刘震, 朱耀琴. 一种基于Spark的高光谱遥感图像分类并行化方法. 电子设计工程, 2017, 25(12):19-22, 26.[doi:10.3969/j.issn.1674-6236.2017.12.005]
    8 Toller G, Isaacman A, Leader M. MODIS Level 1B Product User's Guide. https://mcst.gsfc.nasa.gov/sites/mcst.gsfc/files/file_attachments/M1054D_PUG_083112_final.pdf.[2012-07-12].
    9 Kaufman YJ, Gao BC. Remote sensing of water vapor in the near IR from EOS/MODIS. IEEE Transactions on Geoscience and Remote Sensing, 1992, 30(5):871-884.[doi:10.1109/36.175321]
    10 毛克彪, 唐华俊, 李丽英, 等. 一个从MODIS数据同时反演地表温度和发射率的神经网络算法. 遥感信息, 2007, (4):9-15, 8.[doi:10.3969/j.issn.1000-3177.2007.04.002]
    11 高懋芳, 覃志豪, 徐斌. 用MODIS数据反演地表温度的基本参数估计方法. 干旱区研究, 2007, 24(1):113-119.
    引证文献
    网友评论
    网友评论
    分享到微博
    发 布
引用本文

刘欢,陈能成,陈泽强.基于Apache Spark的MODIS海表温度反演方法.计算机系统应用,2018,27(9):112-117

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2018-01-29
  • 最后修改日期:2018-02-27
  • 在线发布日期: 2018-08-17
文章二维码
您是第12435548位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号