Hugging Face에서의 PatchTST 통합

Hugging Face는 장기 시계열 예측을 위해 설계된 Transformer 기반 모델인 PatchTST를 통합했습니다. 시계열을 하위 시리즈 수준의 패치로 분할하고 채널 독립 아키텍처를 적용함으로써 PatchTST는 계산 오버헤드를 줄이면서 로컬 의미 정보를 유지하고 모델의 과거 컨텍스트 윈도우를 확장합니다.

PatchTST 아키텍처 및 핵심 메커니즘

PatchTST는 두 가지 주요 기술 요소를 통해 전통적인 Transformer 기반 시계열 예측을 개선합니다:

시계열 패칭

개별 시간점을 토큰으로 취급하는 대신, PatchTST는 시계열을 일정 크기의 패치로 벡터화합니다. 이 설계는 다음과 같은 세 가지 구체적인 장점을 제공합니다:

• Local Semantic Retention: 로컬 패턴이 임베딩 내에 보존됩니다.
• Computational Efficiency: 패치 간 스트라이드 사용으로 인해 어텐션 맵의 메모리 및 연산 요구량이 되돌아보는 윈도우에 비해 제곱적으로 감소합니다.
• Extended Context: 패치 길이(벡터 크기)와 컨텍스트 길이(시퀀스 수)의 균형을 맞춤으로써 모델이 더 긴 과거 시퀀스에 주목할 수 있습니다.

채널 독립성

PatchTST는 각 채널을 단일 단변량 시계열로 간주합니다. 모든 단변량 시계열은 동일한 임베딩과 Transformer 가중치를 공유하여 사실상 전역 단변량 모델로 작동합니다.

모델 기능 및 학습 전략

PatchTST는 감독 예측과 자체 감독 마스크 시계열 사전 학습을 모두 지원하는 모듈식 설계를 특징으로 합니다.

직접 예측

감독 학습 환경에서 모델은 패치된 벡터를 사용해 특정 예측 길이에 대한 예측을 출력합니다. Electricity 데이터셋으로 학습했을 때 모델은 평균 제곱 오차(MSE) 0.131을 달성했으며, 이는 원 논문에 보고된 결과와 일치합니다.

전이 학습 및 제로샷 성능

PatchTST는 강력한 전이 학습 능력을 보여주어, 한 소스 도메인에서 사전 학습된 모델을 타깃 도메인에 적용할 수 있습니다. Electricity 데이터셋에서 ETTh1 데이터셋으로 전이한 테스트에서 다음과 같은 성능 단계가 관찰되었습니다:

• Zero-Shot Forecasting: 추가 학습 없이 사전 학습된 모델을 타깃 도메인에 평가한 결과 MSE 0.370을 기록했습니다.
• Linear Probing: 고정된 사전 학습 백본 위에 선형 레이어만 학습시켜 MSE를 0.357로 낮췄습니다.
• Full Fine‑Tuning: 타깃 데이터에 전체 모델을 미세 조정하여 MSE 0.354를 달성했습니다.

구현 및 통합

PatchTST는 Hugging Face Transformers 라이브러리를 통해 제공됩니다. 데이터 전처리를 위해 구현은 IBM tsfm 패키지를 활용합니다.

PatchTSTConfig의 주요 구성 파라미터는 다음과 같습니다:

• context_length: 입력으로 사용되는 과거 데이터 양.
• patch_length: 컨텍스트 윈도우에서 추출된 패치의 길이.
• patch_stride: 패치를 추출할 때 사용되는 스트라이드.
• d_model: Transformer 레이어의 차원.
• num_attention_heads: 레이어당 어텐션 헤드 수.