decisionintelligence/TFB
[PVLDB 2024 Best Paper Nomination] TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods
解決的問題
TFB 解決了時序預測中缺乏公平且全面的基準測試問題。它防止了常見的評估陷阱——例如在測試中捨棄不完整的批次(即「drop-last」技巧)——這可能導致結果不一致,並對不同預測模型造成不公平的比較。
工作原理
TFB 提供了一個標準化的端對端評估流程,用於評估時序預測模型。它包含訓練和測試的乾淨程式碼庫、一組預處理的資料集,以及廣泛的基線演算法(如 DLinear、PatchTST 和 DUET)。該庫還包含一個特徵提取器,用於計算資料集的特性,如趨勢、季節性和平穩性。
適用對象
主要面向需要使用一致評估策略,將新方法與現有基線進行開發、測試和比較的時序預測研究人員。
主要亮點
- 公平評估:在測試中消除「drop-last」操作,確保所有模型使用測試集的一致性。
- 豐富的基線:整合眾多前沿預測模型,包括 TimeKAN、xPatch 和 HDMixer。
- 全面的工具:包含計算時序特徵的工具,並支援對特定輸入變數子集進行預測。
- 即用型資料:提供 27 個多變量資料集,可立即用於基準測試。
相關
- 專案
- 專案
- 專案
- 專案
- 專案