基于Spark的分布式数字信号处理算法库设计
作者:

Design of Distributed Digital Signal Processing Algorithm Library Based on Spark
Author:
  • 摘要
  • | |
  • 访问统计
  • |
  • 参考文献 [8]
  • |
  • 相似文献 [20]
  • | | |
  • 文章评论
    摘要:

    传统的基于DSP与FPGA的数字信号处理技术更加适用于实时信号处理,且受到数据规模和频率分辨率的限制,使得其不适于进行大规模数据下的离线式数据处理、分析与挖掘的应用.目前工业大数据分析平台可以采用Spark作为实时信号处理和离线信号处理加速的计算引擎,但该分析平台缺少适用于分布式并行计算引擎的数字信号处理等数学计算的解决方案.基于此,本文提出了基于Spark的分布式数字信号处理算法库,为面向分析的工业大数据应用场景提供支撑.本文介绍了该算法库的架构设计,并以FFT算法和DFT算法为例介绍了传统数字信号处理算法在Spark下的分布式实现,最后对算法库进行了正确性测试和性能分析.结果表明该算法库能够正确完成数字信号处理的功能,同时可以满足工业大数据分析平台对于大规模数据集进行数字信号处理的需求.

    Abstract:

    The traditional DSP and FPGA-based digital signal processing technology is more suitable for real-time signal processing. It is limited by the size and frequency resolution of the data. So it unsuitable for applications of off-line data processing, data analysis and data mining under large-scale data. Currently the industrial big data analytics platforms can use Spark as a computational engine for real-time signal processing and off-line signal processing acceleration. However, there is a lack of mathematical solutions such as digital signal processing for distributed parallel computing engines. Consequently, this paper presents a library of distributed digital signal processing algorithms based on Spark, which provides a support for the analysis of industrial big data application scenarios. This paper describes the architecture of the algorithm library design and takes the FFT algorithm and DFT algorithm as examples to introduce the distributed implementation of the traditional digital signal algorithm in Spark. Finally, this paper persents a test and analysis for this algorithm library. The results show that the algorithm library can correctly accomplish the function of digital signal processing and it can fulfill the industrial big data analysis platform for large-scale data sets for digital signal processing needs.

    参考文献
    1 彭宇, 姜红兰, 杨智明, 等. 基于DSP和FPGA的通用数字信号处理系统设计. 国外电子测量技术, 2013, 32(1):17-21.[DOI:10.3969/j.issn.1002-8978.2013.01.008]
    2 冯兴杰, 王文超. Hadoop与Spark应用场景研究. 计算机应用研究, 2018, 35(9).
    3 李玮. Apache Spark技术研究与应用前景分析. 电信技术, 2016, (9):67-68, 71.[DOI:10.3969/j.issn.1000-1247.2016.09.017]
    4 英昌甜, 于炯, 卞琛, 等. 基于RDD关键度的Spark检查点管理策略. 计算机研究与发展, 2017, 54(12):2858-2872.[DOI:10.7544/issn1000-1239.2017.20160717]
    5 Zaharia M, Xin RS, Wendell P, et al. Apache spark:A unified engine for big data processing. Communications of the ACM, 2016, 59(11):56-65.[DOI:10.1145/3013530]
    6 刘大庆, 林浩然, 陈树越. 快速傅里叶变换中计算倒序的新思路. 电子与信息学报, 2018, 40(3):758-762.
    7 马学娟. 基于快速傅里叶变换(FFT)和小波变换的大型风机机械振动故障的分析. 科技与创新, 2016, (11):121, 125.
    8 Chen L, Hu Z, Lin JM, et al. Optimizing the fast Fourier transform on a multi-core architecture. Proceedings of 2017 IEEE International Parallel and Distributed Processing Symposium. Rome, Italy. 2007. 1-8.
    引证文献
    网友评论
    网友评论
    分享到微博
    发 布
引用本文

乔昕,刘峰,于碧辉.基于Spark的分布式数字信号处理算法库设计.计算机系统应用,2018,27(8):214-218

复制
分享
文章指标
  • 点击次数:3051
  • 下载次数: 2536
  • HTML阅读次数: 1709
  • 引用次数: 0
历史
  • 收稿日期:2018-01-02
  • 最后修改日期:2018-01-23
  • 在线发布日期: 2018-08-04
文章二维码
您是第11200890位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号