WenjieDu/SAITS

The official PyTorch implementation of the paper "SAITS: Self-Attention-based Imputation for Time Series". A fast and state-of-the-art (SOTA) deep-learning neural network model for efficient time-series imputation (impute multivariate incomplete time series containing NaN missing data/values with machine learning). https://arxiv.org/abs/2202.08516

解决的问题

SAITS 是一种用于填补多变量时间序列缺失值(插补)的框架。它特别解决了 RNN 基础模型的局限性,例如训练速度慢、内存限制以及随时间累积的误差(误差累积)。

工作原理

SAITS 采用纯自注意力机制,不包含任何递归设计。它采用联合优化训练方法以提高准确性和效率。该框架具有高度灵活性,其嵌入和训练策略已被应用于超过 20 个其他预测模型,使其能够执行时间序列插补。

适用人群

需要对部分观测的时间序列数据集进行高精度、高效插补的科研人员和数据科学家。

亮点

  • 高性能:在 MAE 上比 BRITS 提升 12% 至 38%,训练速度提升 2.0 至 2.6 倍。
  • 高效架构:参数量显著减少(仅为标准 Transformer 的 15% 至 30%),同时保持或超越其性能。
  • 非递归设计:首个在不使用递归设计的情况下,将纯自注意力机制应用于通用时间序列插补的工作。
  • 工具箱集成:现已作为 PyPOTS 工具箱的一部分,便于实现。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目