thedatumorg/TSB-AD

해결하는 문제

TSB-AD는 시계열 이상 탐지(TSAD) 분야에서 '방 안의 코끼리'로 여겨지는 문제를 해결합니다: 왜곡된 데이터셋, 편향된 평가 지표, 일관성 없는 벤치마킹 관행입니다. 다양한 데이터 유형에 걸쳐 다른 탐지 알고리즘을 신뢰할 수 있게 비교할 수 있는 표준화된 프레임워크를 제공합니다.

작동 방식

TSB-AD는 세 가지 핵심 구성 요소로 이루어진 포괄적인 벤치마킹 스위트를 구현합니다:

1. 데이터셋의 무결성: 인간의 인지와 모델 해석을 결합한 40개의 다양한 데이터셋에서 나온 1,070개의 고품질 시계열 데이터의 큐레이션된 컬렉션.
2. 측정의 신뢰성: TSAD 지표에서 흔히 발생하는 편향을 피하기 위해 가장 신뢰성 있고 정확한 평가 지표인 VUS-PR을 식별하고 활용.
3. 포괄적인 벤치마킹: 전통적인 통계적 방법(예: Isolation Forest, PCA), 신경망(예: LSTM, Transformers), 그리고 최신 기반 모델(예: Chronos, TimesFM)을 포함한 40개의 다양한 탐지 알고리즘을 통일된 설정과 하이퍼파라미터 튜닝을 통해 통합하여 공정한 비교를 가능하게 합니다.

대상 사용자

실제 세계의 다양한 데이터에서 시계열 이상 탐지 모델의 성능을 평가하고 비교해야 하는 데이터 과학 및 머신러닝 연구자 및 실무자.

주요 특징

• 대규모 큐레이션된 데이터: 단변량(TSB-AD-U) 및 다변량(TSB-AD-M) 데이터셋을 포함.
• 광범위한 알고리즘 스펙트럼: 통계적, 신경망, 기반 모델 카테고리에 걸쳐 40개의 알고리즘을 지원.
• 표준화된 평가: 신뢰할 수 있는 정확도 측정을 보장하기 위해 VUS-PR 지표를 사용.
• 재현 가능한 결과: 공정한 비교를 보장하기 위해 통일된 설정과 하이퍼파라미터 튜닝 스크립트를 제공.