thedatumorg/TSB-AD

解決的問題

TSB-AD 解決了時序異常檢測（TSAD）領域中的「房間裡的大象」問題：有缺陷的資料集、有偏見的評估指標，以及不一致的基準測試實務。它提供了一個標準化框架，可在多樣化的資料類型上可靠地比較不同的檢測演算法。

工作原理

TSB-AD 實現了一個包含三個核心元件的全面性基準測試套件：

1. 資料集完整性：一個由 40 種多樣化資料集組成的 1,070 筆高品質時序資料的精選集合，結合人類感知與模型解讀。
2. 度量可靠性：識別並採用 VUS-PR 作為最可靠且最準確的評估指標，以避免時序異常檢測指標中的常見偏誤。
3. 全面的基準測試：整合 40 種不同的檢測演算法——從傳統的統計方法（如 Isolation Forest 和 PCA）到神經網路（如 LSTM 和 Transformers），再到現代基礎模型（如 Chronos 和 TimesFM）——並採用統一的設定與超參數調校，以實現公平比較。

適用對象

需要在真實世界、異質資料上評估與比較時序異常檢測模型效能的資料科學與機器學習研究者與實務者。

主要亮點

• 大規模精選資料：包含單變量（TSB-AD-U）與多變量（TSB-AD-M）資料集。
• 廣泛的演算法範疇：涵蓋統計、神經網路與基礎模型類別的 40 種演算法。
• 標準化評估：使用 VUS-PR 指標確保可靠的準確度測量。
• 可重現的結果：提供統一的設定與超參數調校指令碼，確保公平比較。