thedatumorg/TSB-AD

解决的问题

TSB-AD 解决了时序异常检测（TSAD）领域中的‘房间里的大象’问题：有缺陷的数据集、有偏见的评估指标以及不一致的基准测试实践。它提供了一个标准化框架，可在多种数据类型上可靠地比较不同的检测算法。

工作原理

TSB-AD 实现了一个包含三个核心组件的综合性基准测试套件：

1. 数据集完整性：一个由 40 个多样化数据集组成的 1,070 个高质量时序数据的精选集合，结合了人类感知与模型解释。
2. 度量可靠性：识别并采用 VUS-PR 作为最可靠、最准确的评估指标，以避免时序异常检测指标中的常见偏差。
3. 全面的基准测试：集成了 40 种不同的检测算法——从传统的统计方法（如 Isolation Forest 和 PCA）到神经网络（如 LSTM 和 Transformers），再到现代基础模型（如 Chronos 和 TimesFM）——并采用统一的设置和超参数调优，以实现公平比较。

适用对象

需要在真实世界、异构数据上评估和比较时序异常检测模型性能的数据科学和机器学习研究人员与实践者。

主要亮点

• 大规模精选数据：包含单变量（TSB-AD-U）和多变量（TSB-AD-M）数据集。
• 广泛的算法覆盖：涵盖统计、神经网络和基础模型类别的 40 种算法。
• 标准化评估：使用 VUS-PR 指标确保可靠的精度测量。
• 可复现的结果：提供统一的设置和超参数调优脚本，确保公平比较。