decisionintelligence/TFB
[PVLDB 2024 Best Paper Nomination] TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods
解决的问题
TFB 解决了时序预测中缺乏公平且全面的基准测试问题。它防止了常见的评估陷阱——例如在测试中丢弃不完整的批次(即“drop-last”技巧)——这可能导致结果不一致,并对不同预测模型造成不公平的比较。
工作原理
TFB 提供了一个标准化的端到端评估流程,用于评估时序预测模型。它包含训练和测试的干净代码库、一组预处理的数据集,以及广泛的基线算法(如 DLinear、PatchTST 和 DUET)。该库还包含一个特征提取器,用于计算数据集的特性,如趋势、季节性和平稳性。
适用人群
主要面向需要使用一致评估策略,将新方法与现有基线进行开发、测试和比较的时序预测研究人员。
主要亮点
- 公平评估:在测试中消除“drop-last”操作,确保所有模型使用测试集的一致性。
- 丰富的基线:集成众多前沿预测模型,包括 TimeKAN、xPatch 和 HDMixer。
- 全面的工具:包含计算时序特征的工具,并支持对特定输入变量子集进行预测。
- 即用型数据:提供 27 个多变量数据集,可立即用于基准测试。
相关
- 项目
- 项目
- 项目
- 项目
- 项目