WenjieDu/SAITS

The official PyTorch implementation of the paper "SAITS: Self-Attention-based Imputation for Time Series". A fast and state-of-the-art (SOTA) deep-learning neural network model for efficient time-series imputation (impute multivariate incomplete time series containing NaN missing data/values with machine learning). https://arxiv.org/abs/2202.08516

解決的問題

SAITS 是一種用於填補多變量時間序列缺失值(插補)的框架。它特別解決了 RNN 基礎模型的限制,例如訓練速度慢、記憶體限制以及隨時間累積的誤差(誤差累積)。

工作原理

SAITS 採用純自注意力機制,不包含任何遞迴設計。它採用聯合優化訓練方法以提升準確性與效率。該框架具有高度彈性,其嵌入與訓練策略已應用於超過 20 種其他預測模型,使其能執行時間序列插補。

適用對象

需要對部分觀測的時間序列資料集進行高準確度、高效插補的科研人員與資料科學家。

亮點

  • 高性能量:在 MAE 上比 BRITS 提升 12% 至 38%,訓練速度提升 2.0 至 2.6 倍。
  • 高效架構:參數量顯著減少(僅為標準 Transformer 的 15% 至 30%),同時保持或超越其性能。
  • 非遞迴設計:首個在不使用遞迴設計的情況下,將純自注意力機制應用於通用時間序列插補的工作。
  • 工具箱整合:現已作為 PyPOTS 工具箱的一部分,便於實作。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案