Mistral Timestral: 5M–209M 파라미터의 시계열 기반 모델, GIFT-Eval, TIME 및 fev-bench 정상에 오르다

Mistral은 자사의 첫 시계열 기반 모델 제품군인 Timestral을 출시했습니다. 가장 큰 모델은 209M 파라미터로, 이 분야의 세 가지 주요 공개 벤치마크(GIFT-Eval, TIME 및 fev-bench)에서 사전 학습되고 제로샷으로 작동하는 모델들 중 모두 1위를 차지하며, 이전 최고 수준보다 모델 파라미터가 3분의 2에 불과함에도 불구하고 성능을 능가합니다.

결과는 단일 체크포인트에서 앙상블 없이 나온 것이며 GIFT-Eval 및 TIME 리더보드에 제출되었습니다. Timestral은 확률적 다변량 예측을 생성하고 과거 전용 및 알려진 미래 공변량을 모두 지원합니다.

Timestral이란 무엇인가

Timestral은 5M, 28M, 123M 및 209M 파라미터의 네 가지 크기로 출시된 시계열 기반 모델(TSFM) 제품군입니다. 네 모델 모두 동일한 아키텍처와 훈련 방식을 공유합니다.

속성 Timestral
유형 시계열 기반 모델(TSFM)
파라미터 5M, 28M, 123M 및 209M
컨텍스트 길이 32,768 타임 스텝
출력 확률적 예측, 21개 분위수
입력 다변량 목표, 과거 전용 및 알려진 미래 공변량
배포 온프레미스, VPC 또는 에어갭
라이선스 수정된 MIT

이 모델은 수치 예측 모델이지 언어 모델이 아닙니다. Mistral은 기존 모니터링 파이프라인 내에서 실행되거나 멀티모달 에이전트 워크플로우에서 언어 모델과 함께 사용할 수 있는 것으로 포지셔닝합니다.

벤치마크 결과

Timestral은 세 가지 주요 공개 예측 벤치마크에서 사전 학습되고 제로샷으로 작동하는 모델 중 다섯 가지 지표 모두에서 1위를 차지합니다. GIFT-Eval 및 TIME에서는 낮을수록 좋고, fev-bench에서는 보고된 지표가 SQL 기술 점수로 높을수록 좋습니다.

  • GIFT-Eval: 83개 비교 가능한 사전 학습 및 제로샷 항목 중 상위 10위.
  • TIME: 35개 리더보드 항목 중 상위 10위.
  • fev-bench: 37개 리더보드 항목 중 SQL 기술 점수로 상위 10위.

Mistral은 28M 모델이 GIFT-Eval 및 TIME에서 약 4배 더 큰 Chronos-2를 능가한다고 보고합니다. 209M 모델은 더 적은 파라미터를 사용하면서 TimesFM-3 및 Falcon-2.0을 능가합니다.

모델 크기 및 정확도-크기 간의 트레이드오프

모든 Timestral 크기는 예측 정확도와 모델 크기 측면에서 파레토 최적점에 위치합니다. 각 모델 크기에 대해 Mistral은 더 나은 예측을 제공하는 공개 모델이 없다고 주장합니다. 더 큰 모델은 예측 성능을 향상시키고, 더 작은 모델은 더 빠르고 저렴합니다.

Timestral은 추론 시 GPU가 필요하지 않습니다. 8스레드 표준 서버 CPU에서 3주 분량의 15분 간격 데이터로 하루 앞을 예측하는 데 5M 모델은 10ms, 209M 모델은 140ms가 걸립니다.

중간 크기 모델은 측정 가능한 방식으로 정확도와 지연 시간을 절충합니다. 28M 모델은 209M 모델보다 5배 빠르고, 123M 모델은 209M 점수의 0.2% 이내이면서 지연 시간은 4분의 3입니다.

시계열 기반 모델이 중요한 이유

ARIMA나 선형 회귀와 같은 고전적 모델은 여전히 시계열 예측을 위한 잘 정립된 도구이지만, 일반적으로 단일 시계열에 맞춰지고 해당 시계열의 과거에서만 학습합니다. PatchTST와 같은 딥러닝 모델은 많은 관련 시계열 전반에 걸쳐 비선형 패턴을 학습하는 능력을 추가하지만, 여전히 각 데이터셋에 대해 처음부터 훈련되므로 학습한 내용이 새로운 도메인으로 전이되지 않습니다.

시계열 기반 모델은 사전 학습 접근 방식을 시계열에 적용합니다. 크고 다양한 코퍼스로 훈련된 Timestral은 시계열 간에 전이되는 패턴을 학습하여, 본 적 없는 데이터에서도 제로샷 예측을 수행하며, 데이터가 부족한 도메인에서도 작동합니다.

Mistral은 엔터프라이즈 동기를 규모 측면에서 설명합니다. 시계열은 센서 원격 측정에서 관찰 가능성 지표에 이르기까지 엔터프라이즈에서 가장 흔한 데이터 유형 중 하나입니다. 이를 기반으로 한 예측은 용량 계획, 에너지, 공급망, 위험 및 유지보수에서 의사 결정을 주도합니다. 산업 플랜트는 생산 일정에 따라 프로세스 센서를 예측하고, 장비가 고장나기 전에 드리프트를 포착하며, 수천 개 자산에 걸쳐 용량과 예비 부품을 계획합니다. 금융 팀은 수천 개 계정에 걸쳐 포지션, 헤지 및 재무를 알리기 위해 흐름, 거래량 및 변동성을 예측합니다.

산업 사용 사례: 플랜트 데이터에서 모델이 수행하는 작업

Mistral은 장비 전체에 수천 개의 센서가 있는 산업 플랜트에 중요한 네 가지 기능을 설명합니다.

다변량 예측. 펌프의 진동, 온도 및 압력은 독립적으로 움직이지 않습니다. 하나의 상승은 종종 다른 변화를 설명하거나 유발합니다. Timestral은 관련 시계열을 공동으로 모델링하므로 각 센서를 개별적으로 예측하는 대신 이러한 종속성을 활용할 수 있습니다.

확률적 예측. 단일 예측 값은 전체 그림을 보여주지 못할 수 있습니다. Timestral은 전체 분위수 세트를 예측하므로 팀은 불확실성이 얼마나 넓은지 확인하고, 이를 반영하는 알림 임계값을 설정하며, 단일 숫자가 아닌 위험을 중심으로 유지보수를 계획할 수 있습니다.

범주형 공변량. 일부 공변량은 연속 숫자 대신 요일, 기계 상태(가동, 유휴, 유지보수 중)와 같은 범주 집합에서 값을 취합니다. 이를 숫자로 인코딩하면 존재하지 않는 순서나 척도가 부과됩니다. Timestral은 이를 직접 범주형 입력으로 받습니다.

알려진 미래 공변량. 센서 동작의 일부 요인은 생산 일정, 계획된 중단 및 날씨 예보와 같이 사전에 알려져 있습니다. Timestral은 이를 조건으로 사용할 수 있으므로 계획된 부하 증가가 예상치 못한 것으로 표시되지 않고 예상됩니다.

모델에서 시스템으로

Mistral은 Timestral이 언어 모델과 함께 작동하는 다단계 에이전트 워크플로우를 설명합니다.

  1. Timestral은 플랜트의 센서 스트림에서 지속적으로 실행되어 이상 징후가 발생하는 즉시 감지합니다.
  2. 펌프에서 이상 징후를 플래그하면 에이전트는 신호를 임베딩하고 과거 센서 데이터의 임베딩과 비교하여 유사한 과거 고장을 찾습니다.
  3. 에이전트는 유지보수 기록, 교대 로그, 운영자 메모, 장비 매뉴얼, 과거 작업 지시서 및 관련 장비 판독값과 같은 플랜트 컨텍스트를 활용하여 근본 원인 분석을 실행하기 위한 하위 에이전트를 시작합니다.
  4. 에이전트는 증거와 가능한 다음 단계와 함께 발견 사항을 기반으로 제안된 진단을 초안합니다.

명시된 결과는 플랜트 관리자가 단순한 알림이 아닌 센서 데이터로 뒷받침되는 진단과 계획을 얻는 것입니다.

주요 기술 기여

Mistral은 결과를 네 가지 결합된 아이디어로 설명하며, 각각은 곧 공개될 기술 보고서에 자세히 설명될 것이라고 말합니다.

1. 분리된 수평선 예측(DHF). Toto 2.0 및 TimesFM-3에서와 같이 연속 패치 마스킹으로 훈련된 인과 디코더는 예측할 값을 마스킹하므로 해당 값은 누락된 데이터처럼 보이고 이후 예측을 위한 컨텍스트로도 손실됩니다. DHF는 이 둘을 분리합니다. 전체 기록은 시퀀스에 유지되고 학습된 예측 토큰은 이전 기록을 읽습니다. 따라서 관찰된 모든 값은 목표와 컨텍스트로 모두 사용되며, 실제 간격은 누락으로 계속 표시되고 훈련 수평선 길이와 누락 데이터 증대는 서로 독립적으로 조정될 수 있습니다.

2. 공변량 인식 어텐션. 각 입력 시계열에는 목표 변량, 과거 전용 공변량 또는 알려진 미래 공변량의 역할이 할당됩니다. 알려진 미래 공변량은 전체 창에서 볼 수 있는 반면 목표는 인과적이며 정보는 공변량에서 목표로만 흐릅니다. 이를 통해 Timestral은 휴일 달력이나 날씨 예보를 사용하면서 목표 자체의 미래를 예측에 누출하지 않습니다.

3. 합성 우선 데이터. 훈련 데이터의 대부분은 합성 데이터였습니다. Mistral은 먼저 추세, 계절성 및 다양한 노이즈 패턴을 포함하여 일관된 시간적 역학을 가진 단변량 프로세스를 생성했습니다. 그런 다음 다변량 합성기를 사용하여 프로세스 간에 비선형 종속성을 도입하여 다변량 시계열을 구성했습니다.

4. 2단계 훈련. Timestral은 먼저 컨텍스트 크기 8192로 순수 합성 데이터에서 대규모로 사전 훈련된 다음, 4배 더 긴 컨텍스트로 실제 및 합성 데이터 혼합에 대해 사후 훈련됩니다. 훈련 목표는 CRPS의 이산 근사인 21개 분위수에 대한 핀볼 손실입니다.

Mistral Forge를 통한 적응 및 배포

공개 벤치마크는 일반적인 성능을 측정하지만, 프로덕션 데이터는 동작과 구조에서 크게 다를 수 있으며 시장이 국면을 바꾸고 장비가 저하되고 수요 패턴이 이동함에 따라 시간이 지남에 따라 변할 수 있습니다. Mistral은 지속적인 가치는 모델을 도메인 내 데이터에 적응시키고 분포가 이동함에 따라 재훈련하는 데 있다고 주장합니다.

Timestral은 Mistral이 언어 모델에 사용하는 것과 동일한 훈련 파이프라인인 Mistral Forge를 통해 사용할 수 있습니다. Forge는 다음을 지원합니다.

  • 즉시 사용 가능한 제로샷 추론.
  • 아키텍처 확장, 예: 도메인별 공변량.
  • 독점 데이터에 대한 미세 조정, 일반 성능을 유지하면서 도메인에 특화.
  • 훈련 데이터 제어, 훈련 믹스 조정, 사전 훈련 데이터 재생 및 대상 도메인에 대한 합성 샘플 생성 포함. Mistral은 데이터에 대한 완전한 제어로 백테스트된 것이 사전 훈련 중에 보이지 않았음을 보장한다고 말합니다.

전체 파이프라인은 에어갭 환경을 포함하여 고객 하드웨어에 배포할 수 있습니다.

가용성

Mistral은 사용자가 자신의 데이터에서 Timestral을 실행할 수 있도록 github.com/mistralai/timestral에 GitHub 리포지토리를 게시했습니다. 전체 결과가 포함된 기술 보고서가 곧 제공될 예정입니다. Mistral은 또한 보다 전문화된 예측 문제 및 연구 협업을 위한 연락을 환영합니다.

Hacker News 토론에서 질문한 내용

Hacker News의 98개 댓글 스레드는 크게 엔지니어링에 대한 열정과 일반 시계열 기반 모델이 올바른 추상화인지에 대한 회의론으로 나뉘었습니다.

단일 시계열 버킷에 대한 반대

가장 상세한 비판은 주로 오디오/비전 ML 분야에서 일하는 한 댓글 작성자로부터 나왔으며 "시계열"이 의미 있는 단일 범주인지 의문을 제기했습니다.

제 분야는 주로 오디오/비전 ML이라 특별한 도메인 전문 지식은 없지만, 모든 "시계열"을 하나의 큰 버킷에 묶을 수 있는지 이해가 안 됩니다. 제 소박한 이해로는 정확도를 향상시키는 방법은 가능한 한 많은 공동 정보를 얻는 것입니다.

같은 댓글 작성자는 알려진 미래 공변량이 선택적 개선 사항이 아닌 시스템의 기반이 되어야 한다고 주장하며 전력 가격 예측을 예로 들었습니다.

제 생각에는 이것이 시스템의 전체 기반이 되어야지 예측 품질을 개선하기 위한 조건이어야 하나요? 전력 소비를 모델링한다면, 이전 N개 샘플의 창만 있다면 하루 중 시간, 다가오는 휴일, 날씨 예보 등을 아는 비교적 단순한 시스템에 완전히 패배할 것입니다.

또한 5M 파라미터 모델이 공변량 레이블에 대한 유용한 귀납적 편향을 가질 수 있는지에 대한 질문도 제기했습니다.

5M 모델은 "공휴일"이 무엇인지 전혀 모르고, 임의의 클래스가 0에서 1로 바뀌는 것만 보며, 그것이 무엇을 의미하거나 다른 정보와 어떻게 연결되는지에 대한 유용한 귀납적 편향이 없을 것입니다.

TSFM을 노동 절약 인프라로 보는 주장

반대 주장은 규모가 큰 예측의 운영 현실에 초점을 맞췄습니다. 즉, 각 시계열에 자체 모델을 지원할 충분한 기록이 없는 많은 시계열이 있다는 것입니다.

물론 휴일이나 이벤트 공변량이 있는 시계열에 XGBoost 모델을 훈련할 수 있지만, 예측해야 할 서로 다른 시계열이 10,000개 있다면 어떨까요? 각 시계열에 대해 하나씩 10,000개의 다른 모델을 훈련할 수 있지만, 학습할 기록이 매우 부족할 것입니다. 또는 모든 10,000개를 커버하는 단일 일반 모델을 훈련할 수도 있지만, 시계열 간의 규모 불일치와 기능 개발 오버헤드를 처리해야 합니다. TSFM은 각 시계열을 모델링하는 데 드는 많은 작업을 절약하고 더 정확한 예측으로 일반화할 수 있습니다.

평가가 어려운 부분

여러 댓글 작성자는 예측이 객관적으로 평가하기 어렵다고 주장했습니다. 테스트할 관찰 기록이 하나뿐이기 때문입니다.

예측을 객관적으로 평가할 수 있는 방법을 모르겠습니다. 우리는 하나의 우주만 관찰합니다. 우리가 가진 이 하나의 관찰에 모델을 과적합합니다. 그래서 결국 아무도 예측 모델을 신뢰하거나 비난하지 않는 이유입니다. 특히 전부 아니면 전무(all-or-nothing) 유형의 결정에서 말입니다.

다른 댓글은 통제된 신호 대 잡음비를 가진 합성 데이터 생성 프로세스를 사용하는 구체적인 테스트 방법론을 제안했습니다.

예측 모델을 의미 있게 테스트하려면 고전적 방법(경험적 조건부 분포, 즉 카운팅)이 대부분의 신호를 포착할 수 있는 높은 신호 대 잡음비의 데이터 생성 프로세스를 사용하세요. 그런 다음 모델이 해당 신호도 포착하는지 확인하세요. 높은 노이즈 프로세스에서만 테스트하면 모든 모델이 SOTA와 비슷해 보입니다.

벤치마크 제시 방식에 대한 비판

한 댓글 작성자는 결과를 시각화한 방식에 문제를 제기했습니다.

0.03의 개선을 5배 차이처럼 보이게 만든 것이 미쳤습니다.

라이선스 및 오픈 가중치

사양 표에는 Timestral이 수정된 MIT 라이선스로 나열되어 있지만, 적어도 한 댓글 작성자는 조건을 제한적으로 읽었습니다.

선두인 t0-gamma에 이렇게 가까운 성능을 얻은 것은 상당히 인상적이지만 제한적인 라이선스는 유감입니다.

다른 댓글 작성자는 이번 출시를 해당 분야에서 개방형 경쟁을 향한 한 단계로 설명하며 Nixtla의 도구를 언급했습니다.

그걸 사용했던 기억이 있고 꽤 좋았어서 이제 이 분야에 더 개방적인 경쟁이 생겨서 기쁩니다.

또 다른 댓글은 Timestral이 Nixtla의 TimeGPT와 어떻게 비교되는지 직접 질문하며 Nixtla 리포지토리를 링크했습니다.

관측 가능성: 블랙박스로 충분한가?

신호 처리 R&D 엔지니어는 Timestral이 제공하는 동적 시스템 관측 가능성의 종류를 물으며 세 가지 모델링 접근 방식을 대조했습니다: 알려진 모델 구조에 알려지지 않은 파라미터를 맞추는 것, 모델 없는 기저 함수 검색, 순수 입력/출력 블랙박스. 첫 번째 접근 방식은 변수가 어떻게 결합되고 얼마나 강하게 결합되는지에 대한 통찰력을 제공하여 파라미터 조정에 대한 비즈니스 결정을 지원한다고 언급했습니다. 사양 표를 검토한 후 같은 댓글 작성자는 다음과 같이 결론지었습니다.

편집: 온프레미스에서 실행할 수 있는 순수 블랙박스인 것 같습니다.

고객 스토리에 대한 회의론

한 댓글 작성자는 시계열 기반 모델의 매력을 마케팅 주도로 일축하고 이름 있는 레퍼런스 고객이 없다는 점을 지적했습니다.

흠....시계열 데이터는 텍스트 데이터와 근본적으로 다릅니다. 시계열 "기반 모델"이 매력적으로 보이는 이유를 알겠습니다. 특히 Mistral의 마케팅 담당자에게는요. 실제 사용성은 매우 제한적이며, 이것이 블로그 게시물에 실제 레퍼런스가 아닌 가상의 고객을 등장시키는 이유일 것입니다.

시퀀스 모델 환경에서 모델의 위치

한 댓글 작성자는 대규모 언어 모델이 추상적 수준에서 더 일반적인 클래스의 시계열 모델, 즉 "일반 목적 시퀀스 모델"과 같다고 제안했습니다. 다른 댓글은 이 분야에 대한 오랜 관심을 언급하며 2006년부터 시계열 예측에 낙관적이었고 Spacetimeformer가 언어 모델 진행에 가려진 주요 도약이었다고 말했습니다.

Mistral 자체에 대한 엇갈린 반응

스레드에는 Mistral을 회사로서 다루는 더 넓은 논평도 포함되었습니다. 한 댓글 작성자는 이번 출시를 "훌륭한 유럽 주권"이라고 칭찬했고, 다른 댓글 작성자는 Mistral의 다른 모델 출시를 비판하며 유럽이 기술 인재를 성장시키고 유지하는 방식을 검토해야 한다고 주장했습니다. 세 번째 댓글 작성자는 매크로 예측 작업을 위해 Timestral로 전환 중이라고 말했습니다. 스레드의 여러 댓글은 중재자에 의해 플래그가 지정되었으며 일부는 기술적이라기보다 풍자적이거나 홍보성으로 읽혔습니다.

실용적인 질문

한 댓글 작성자가 가장 명확하게 말한 반복되는 감정은 모델이 흥미롭지만 어떻게 사용할지 어렵다는 것이었습니다.

다른 점이 좋지만 이것을 사용할 방법을 생각해내기가 어렵습니다.

대조적인 관점은 도구가 얼마나 많이 변했는지 언급한 댓글 작성자에게서 나왔습니다. 5년 전에는 예측 모델을 구축하고 배포하는 데 몇 달이 걸렸지만, 이제는 LLM 지원과 독점 데이터 미세 조정으로 비슷한 결과를 몇 분 만에 만들 수 있습니다. 그들의 명시된 바람은 이 수준의 성능을 가진 오픈 가중치 모델이었습니다.

SUMMARY: Mistral의 Timestral은 4가지 시계열 기반 모델(5M, 28M, 123M 및 209M 파라미터) 제품군으로, 209M 플래그십 모델은 사전 훈련된 제로샷 모델 중 GIFT-Eval, TIME 및 fev-bench에서 1위를 차지하며 이전 최고 수준 파라미터의 3분의 2를 사용합니다.

TITLE: Mistral Timestral: 5M–209M 파라미터의 시계열 기반 모델, GIFT-Eval, TIME 및 fev-bench 정상에 오르다

Sources

관련