Mistral Timestral: 5M에서 209M 파라미터까지의 시계열 기반 모델

Mistral AI는 첫 번째 시계열 기반 모델 제품군인 Timestral을 출시했으며, 가장 큰 변형 모델인 209M 파라미터 모델은 이 분야의 주요 공개 벤치마크 3개(GIFT-Eval, TIME, fev-bench) 모두에서 1위를 차지하며, 이전 최고 수준을 모델 파라미터의 3분의 2만으로 능가했습니다. 이번 출시가 중요한 이유는 언어와 비전을 재편한 사전 학습 패러다임을 기업용 시계열 데이터에 적용했기 때문이며, 전체 제품군이 CPU에서 실행되어 기존 모니터링 및 계획 파이프라인 내에서 제로샷 예측을 실용적으로 만들기 때문입니다.

Timestral이란 무엇인가

Timestral은 확률적 다변량 예측을 생성하고 과거 전용 및 알려진 미래 공변량을 모두 지원하는 시계열 기반 모델(TSFM) 제품군입니다. Mistral은 이를 첫 번째 시계열 기반 모델 제품군이라고 설명합니다.

이 모델들은 대규모의 다양한 말뭉치로 사전 학습되어 학습된 패턴이 여러 시계열에 걸쳐 전이되며, 모델이 본 적 없는 데이터(데이터가 부족한 도메인 포함)에 대해 제로샷 예측을 가능하게 합니다. 결과는 GIFT-Eval 및 TIME 리더보드에 제출되었습니다.

벤치마크 결과

Mistral에 따르면 사전 학습된 제로샷 모델 중 Timestral은 세 가지 주요 공개 예측 벤치마크의 모든 5가지 지표에서 1위를 차지했습니다. 이러한 결과는 앙상블 없이 단일 체크포인트에서 나온 것입니다.

GIFT-Eval: Timestral은 83개의 비교 가능한 사전 학습 및 제로샷 항목 중 상위 10위 안에 나타납니다. 낮을수록 좋습니다.
TIME: Timestral은 35개 리더보드 항목 중 상위 10위 안에 나타납니다. 두 지표 모두 낮을수록 좋습니다.
fev-bench: Timestral은 37개 리더보드 항목 중 SQL 기술 점수 기준 상위 10위 안에 나타납니다. 높을수록 좋습니다.

Mistral은 209M 모델이 모델 파라미터의 3분의 2만으로 이전 최고 수준을 능가한다고 밝혔습니다.

네 가지 모델 크기와 정확도-지연 시간 균형

Timestral은 5M, 28M, 123M, 209M 파라미터의 네 가지 크기로 출시되며, 모두 동일한 아키텍처와 학습 레시피를 공유합니다. Mistral은 모든 크기가 정확도 대비 모델 크기의 파레토 최적선에 있다고 주장합니다. 각 모델 크기에 대해 더 나은 예측을 제공하는 공개 모델이 없습니다.

Mistral이 보고한 구체적인 비교:

28M 모델은 약 4배 더 큰 Chronos-2를 GIFT-Eval 및 TIME에서 능가합니다.
209M 모델은 더 적은 파라미터로 TimesFM-3 및 Falcon-2.0을 능가합니다.
123M 모델은 209M 점수의 0.2% 이내로 접근하면서 지연 시간은 4분의 3입니다.
28M 모델은 209M 모델보다 5배 빠릅니다.

GPU 없이 CPU 추론

Timestral은 추론 시 GPU가 필요하지 않습니다. 8개 스레드의 표준 서버 CPU에서 15분 간격의 3주 기록을 기반으로 하루 앞을 예측하는 데 5M 모델은 10ms, 209M 모델은 140ms가 걸립니다. 더 작은 모델은 속도를 위해 일부 정확도를 희생합니다.

주요 기술 기여

Mistral은 Timestral의 결과를 네 가지 결합된 아이디어에 기인하며, 각각은 곧 공개될 기술 보고서에서 자세히 설명될 것입니다.

1. 분리된 수평선 예측(DHF)

Toto 2.0 및 TimesFM-3에서 사용된 연속 패치 마스킹으로 훈련된 인과 디코더는 예측할 값을 마스킹하여 해당 값이 누락된 값처럼 보이고 이후 예측의 컨텍스트로도 손실됩니다. Mistral의 DHF 접근 방식은 이 둘을 분리합니다. 전체 기록은 시퀀스에 남아 있고, 학습된 예측 토큰은 그 앞의 기록을 읽습니다. 따라서 모든 관측 값은 대상과 컨텍스트 모두로 역할하며, 실제 갭은 누락으로 플래그가 유지되고, 훈련 수평선 길이와 누락 데이터 증강은 서로 독립적으로 조정될 수 있습니다.

2. 공변량 인식 어텐션

각 입력 시리즈에는 역할이 할당됩니다: 대상 변수, 과거 전용 공변량, 또는 알려진 미래 공변량. 알려진 미래 공변량은 전체 창에서 볼 수 있는 반면 대상은 인과적으로 유지되며, 정보는 공변량에서 대상으로만 흐릅니다. 따라서 Timestral은 휴일 달력이나 날씨 예보를 사용하면서 대상의 미래가 예측에 누출되는 것을 방지할 수 있습니다.

3. 합성 우선 데이터

Timestral의 훈련 데이터의 대부분은 합성 데이터였습니다. Mistral은 먼저 추세, 계절성 및 다양한 노이즈 패턴을 포함한 일관된 시간 역학을 가진 단변량 프로세스를 생성했습니다. 그런 다음 다변량 합성기를 사용하여 이러한 프로세스 간의 비선형 종속성을 도입하여 다변량 시리즈를 구성했습니다.

4. 2단계 훈련

Timestral은 먼저 컨텍스트 크기 8192의 순수 합성 데이터로 대규모 사전 학습을 거친 다음, 4배 더 긴 컨텍스트로 실제 및 합성 데이터의 혼합으로 사후 학습됩니다. 훈련 목표는 21개 분위수에 대한 핀볼 손실로, CRPS의 이산 근사입니다.

시계열 기반 모델이 기업에 중요한 이유

시계열은 센서 원격 측정에서 관찰 가능성 지표에 이르기까지 기업에서 가장 일반적인 데이터 유형 중 하나이며, 이를 기반으로 한 예측은 용량 계획, 에너지, 공급망, 위험 및 유지보수에서 결정을 주도합니다.

Mistral은 이 분야의 진행을 세 단계로 설명합니다. ARIMA 및 선형 회귀와 같은 고전적 모델은 여전히 확립된 도구이지만, 일반적으로 단일 시리즈에 맞춰져 해당 시리즈의 기록에서만 학습합니다. PatchTST와 같은 딥러닝 모델은 여러 관련 시리즈에 걸쳐 비선형 패턴을 학습하는 능력을 추가하지만, 여전히 각 데이터셋에 대해 처음부터 훈련되므로 학습한 내용이 새로운 도메인으로 전이되지 않습니다. 시계열 기반 모델은 사전 학습 접근 방식을 시계열에 적용하여 시리즈 간 전이되는 패턴을 학습하고 보지 못한 데이터에 대해 제로샷 예측을 수행합니다.

산업 예: 공장의 수천 개 센서

Mistral은 장비 전반에 걸친 수천 개의 센서가 있는 산업 플랜트를 예로 들어 모델의 기능을 설명합니다.

다변량 예측. 펌프의 진동, 온도 및 압력은 독립적으로 움직이지 않습니다. 하나의 상승이 다른 변화를 설명하거나 유발하는 경우가 많습니다. Timestral은 관련 시리즈를 공동으로 모델링하여 각 센서를 개별적으로 예측하는 대신 이러한 종속성을 사용할 수 있습니다.
확률적 예측. 단일 예측 값은 전체 그림을 보여주지 않을 수 있습니다. Timestral은 전체 분위수 세트를 예측하므로 팀은 불확실성의 폭을 확인하고 이를 반영한 경보 임계값을 설정하며 단일 숫자보다는 위험을 기준으로 유지보수를 계획할 수 있습니다.
범주형 공변량. 일부 공변량은 연속 숫자 대신 요일이나 기계 상태(가동 중, 유휴, 유지보수 중)와 같은 범주 집합에서 값을 취합니다. 이러한 것을 숫자로 인코딩하면 없는 순서나 척도가 부과됩니다. Timestral은 이를 범주형 입력으로 직접 받습니다.
알려진 미래 공변량. 생산 일정, 계획된 중단 및 날씨 예보와 같은 센서 동작의 일부 요인은 사전에 알려져 있습니다. Timestral은 이를 조건으로 사용할 수 있으므로 예정된 부하 증가가 예상되어 놀라움으로 플래그되지 않습니다.

모델에서 시스템으로

Timestral은 기존 모니터링 파이프라인 내에서 실행되거나 Mistral의 언어 모델과 다중 모달 에이전트 워크플로에서 쌍을 이룰 수 있는 수치 모델입니다. Mistral은 이 플랜트 워크플로를 스케치합니다:

Timestral은 플랜트의 센서 스트림에서 지속적으로 실행되어 이상 징후를 발생 즉시 감지합니다.
펌프에서 이상 징후를 플래그하면 에이전트가 신호를 임베딩하고 과거 센서 데이터의 임베딩과 비교하여 유사한 과거 고장을 찾습니다.
에이전트는 유지보수 기록, 교대 로그 및 운영자 메모, 장비 매뉴얼, 과거 작업 지시서 및 관련 장비의 판독값과 같은 플랜트 컨텍스트를 활용하여 근본 원인 분석을 실행하는 하위 에이전트를 시작합니다.
에이전트는 지원 증거와 가능한 다음 단계와 함께 제안된 진단을 초안합니다.

플랜트 관리자는 단순한 경보가 아닌 센서 데이터로 뒷받침되는 진단과 계획을 받습니다.

Mistral Forge로 Timestral 적응

공개 벤치마크는 일반적인 성능을 측정하지만, 프로덕션 데이터는 동작과 구조에서 크게 다를 수 있으며, 시장이 체제를 바꾸고, 장비가 노후화되고, 수요 패턴이 이동함에 따라 시간이 지남에 따라 변화할 수 있습니다. Mistral은 지속적인 가치는 모델을 도메인 내 데이터에 적응시키고 분포가 이동함에 따라 재훈련하는 데 있다고 주장합니다.

Timestral은 Mistral이 언어 모델에 사용하는 것과 동일한 훈련 파이프라인인 Mistral Forge를 통해 사용할 수 있습니다. 다음을 지원합니다:

즉시 사용 가능한 제로샷 추론.
도메인별 공변량과 같은 아키텍처 확장.
독점 데이터에 대한 미세 조정, 일반 성능을 유지하면서 도메인에 특화.
훈련 데이터 제어, 훈련 혼합 조정, 사전 학습 데이터 재생 및 대상 도메인을 반영한 합성 데이터 샘플 생성 포함. Mistral은 데이터에 대한 완전한 제어를 통해 백테스트된 것이 사전 학습 중에 보이지 않도록 보장한다고 밝혔습니다.

전체 파이프라인은 에어갭 환경을 포함한 클라이언트 하드웨어에 배포할 수 있습니다.

사양 및 가용성

속성	Timestral
유형	시계열 기반 모델(TSFM)
파라미터	5M, 28M, 123M, 209M
컨텍스트 길이	32,768시간 단계
출력	확률적 예측, 21개 분위수
입력	다변량 대상, 과거 전용 및 알려진 미래 공변량
배포	온프레미스, VPC 또는 에어갭
라이선스	수정된 MIT

Mistral은 github.com/mistralai/timestral에 GitHub 저장소를 게시하여 사용자가 자신의 데이터로 Timestral을 실행할 수 있도록 했습니다. 전체 결과가 포함된 기술 보고서가 곧 공개될 예정입니다. Mistral은 더 전문화된 예측 문제가 있거나 연구 협력에 관심이 있는 조직에 연락을 권장합니다.