IBM Granite Time Series PatchTST-FM-r2 출시

IBM은 제로샷 시계열 예측을 위한 범용 파운데이션 모델인 Granite Time Series PatchTST-FM-r2를 출시했습니다. 이 모델을 통해 사용자는 모든 데이터셋에 대해 별도의 모델을 학습시킬 필요 없이 수요, 가격, 에너지 부하 및 텔레메트리 예측을 생성할 수 있습니다.

최첨단 제로샷 성능

PatchTST-FM-r2는 2026년 9월 8일 기준 GIFT-Eval 리더보드에서 복제 가능한 모델 중 허용적이고 상업적으로 친화적인 라이선스 하에 출시된 가장 높은 성능의 제로샷 모델입니다. 이 모델은 Continuous Ranked Probability Score (CRPS)와 Mean Absolute Scaled Error (MASE) 모두에서 복제 가능한 제로샷 모델 중 전체 2위를 차지하고 있습니다.

"pretrained" 모델(GIFT-Eval 학습 데이터를 사전 학습 코퍼스에 포함하는 것이 허용된 모델)과 비교해도 PatchTST-FM-r2는 매우 경쟁력이 있으며, CRPS에서 3위, MASE에서 4위를 기록하고 있습니다. 이는 Chronos-2, Timer-S1, Toto 변형 모델을 포함한 여러 더 큰 사전 학습 모델보다 뛰어난 성능을 보여줍니다.

아키텍처 개선 사항

PatchTST-FM-r2는 이전 모델인 PatchTST-FM-r1의 아키텍처를 발전시켜 장기 및 단기 시간적 관계를 더 잘 포착하도록 설계되었습니다.

Conformer 기반 백본

이 모델은 표준 트랜스포머 레이어를 conformer 블록으로 대체합니다. 이 블록은 multi-head self-attention과 temporal convolution 레이어를 결합하여 두 가지 상호 보완적인 추론 메커니즘을 제공합니다:

  • Self-attention: 패치 간의 장거리 관계를 모델링합니다.
  • Convolution: 국소적 시간 구조에 대한 귀납적 편향을 제공하여 더 짧은 기간의 상호작용을 포착합니다.

이를 최적화하기 위해 conformer 블록은 반복되는 {5, 5, 3, 3} 패턴으로 3과 5의 교차하는 convolution kernel size를 사용합니다. 이를 통해 self-attention 메커니즘이 표준 트랜스포머에서 흔히 발생하는 것처럼 대각선 근처에 집중되는 대신 장거리 관계에 집중할 수 있도록 합니다.

정교화된 패칭 및 안정성

예측 정확도를 높이고 매끄러운 패치 경계를 구현하기 위해 모델은 다음을 구현합니다:

  • 50% 중첩 패치와 Hamming-window 가중치 적용.
  • Overlap-and-add 예측.
  • 깊이 증가: 아키텍처가 20개에서 30개 블록으로 확장되었습니다.
  • Normalization: 안정성 향상을 위해 추가되었습니다.

모델 사양 및 기능

PatchTST-FM-r2는 약 385M-parameter 모델이며 다음과 같은 기술적 기능을 갖추고 있습니다:

  • Context Length: 최대 8,192단계를 지원합니다.
  • Probabilistic Forecasting: 특수화된 예측 헤드를 통해 99개의 분위수를 예측하여 점 예측과 불확실성 구간을 모두 제공합니다.
  • Flexible Forecast Lengths: 미래 예측을 위한 가변 길이를 지원합니다.
  • Missing Value Support: 결측치 보충(imputation) 기능을 포함합니다.

학습 데이터 및 투명성

IBM은 기업 사용자가 거버넌스 및 라이선스 검토를 원활하게 진행할 수 있도록 문서화된 사전 학습 코퍼스를 제공합니다. 학습 데이터는 네 가지 주요 소스로 구성됩니다:

  1. GiftEvalPretrain에서 선택된 데이터셋.
  2. KernelSynth를 기반으로 수정된 주기적 커널과 제한된 증강을 사용한 커스텀 합성 데이터.
  3. TSMixup 코퍼스 (GIFT-Eval 평가 세트 외부의 데이터셋으로 제한됨).
  4. 길이 4,096의 합성 CauKer 시퀀스 약 500,000개.

라이선싱 및 가용성

Granite Time Series PatchTST-FM-r2는 Apache 2.0 및 OpenMDW 1.0 하에 이중 라이선스로 제공되어 사용자가 자신의 필요에 가장 적합한 라이선스를 선택할 수 있습니다. 두 라이선스 모두 모델을 사용, 수정 및 배포할 수 있는 허용적인 권리를 제공합니다.

모델 가중치, 아키텍처, 추론 파이프라인, 그리고 벤치마크 결과를 재현할 수 있는 코드는 Hugging Face Hub와 granite-tsfm GitHub 저장소에서 사용할 수 있습니다 있습니다. 이 구현은 PatchTST-FM-r1 체크포인트와 하위 호환성을 유지합니다.

프로덕션 통합

IBM과 Confluent는 Granite Time Series 모델을 Confluent Cloud의 Early Access 프로그램에 통합했습니다. 이를 통해 Apache Flink를 사용하여 스트리밍 애플리케이션 내에서 직접 파운데이션 모델 추론을 수행할 수 있으며, 이는 데이터를 별도의 ML 환경으로 이동하지 않고 실시간 데이터 스트림에서 실시간 예측 및 이상 탐지를 수행할 수 있게 합니다.

Sources