基于扩散与时频注意力的时间序列插补方法
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

2020年批次佛山高等教育高层次人才项目; 广东省基础与应用基础研究基金(区域联合基金-青年基金)(2020A1515110783)


Time Series Imputation Method Based on Diffusion and Temporal-frequency Attention
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    时间序列插补旨在根据现有数据填补缺失值以恢复数据的完整性. 目前基于RNN的插补方法存在较大的误差, 并且增加网络层数容易出现梯度爆炸和消失问题, 而基于GAN和VAE的插补方法经常面临训练困难和模式崩溃的挑战. 为解决上述问题, 本文提出了一种基于扩散与时频注意力的时间序列插补模型DTFA (diffusion model and time-frequency attention), 通过反向扩散实现从高斯噪声中重建缺失数据. 具体而言, 本研究利用多尺度卷积模块与二维注意力机制捕获时域数据中的时间依赖性, 并利用MLP与二维注意力机制学习频域数据的实部与虚部信息. 此外, 本研究通过线性插补模块以对现有的观测数据进行初步的数据增强, 从而更好地指导模型的插补过程. 最后, 本研究通过最小化真实噪声与估计噪声的欧氏距离来训练噪声估计网络, 并利用反向扩散实现对时序数据的缺失插补. 本研究的实验结果表明, DTFA在ETTm1、WindPower和Electricity这3个公开数据集上的插补效果均优于近年主流的基线模型.

    Abstract:

    Time series imputation aims to restore data integrity by filling in missing values based on existing data. Currently, RNN-based imputation methods suffer from large errors, and increasing the number of network layers often leads to exploding and vanishing gradients. Additionally, GAN-based and VAE-based imputation methods frequently encounter challenges such as training difficulties and pattern collapse. To address these challenges, this study proposes a time series imputation model named diffusion model and time-frequency attention (DTFA), which reconstructs missing data from Gaussian noise through reverse diffusion. Specifically, this study utilizes multi-scale convolutional modules and two-dimensional attention mechanisms to capture temporal dependencies in time-domain data and employs MLPs and two-dimensional attention mechanisms to learn real and imaginary parts of frequency-domain data. This study also implements a linear imputation module to augment the existing observed data, thereby providing better guidance for model imputation. Finally, this study trains a noise estimation network by minimizing the Euclidean distance between real noise and estimated noise and then utilizes reverse diffusion to fill in the missing values in time series data. The experimental results demonstrate that DTFA outperforms mainstream baseline models in terms of imputation effectiveness on three public datasets: ETTm1, WindPower, and Electricity.

    参考文献
    相似文献
    引证文献
引用本文

王槃,曾倩欣,杨欢.基于扩散与时频注意力的时间序列插补方法.计算机系统应用,,():1-11

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2024-04-20
  • 最后修改日期:2024-05-14
  • 录用日期:
  • 在线发布日期: 2024-09-24
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号