Mistral Timestral: 5M〜209Mパラメータの時系列基盤モデルがGIFT-Eval、TIME、fev-benchでトップに

Mistralは、同社初の時系列基盤モデルファミリーであるTimestralをリリースした。最大のモデルは209Mパラメータで、事前学習済みのゼロショットモデルとして、この分野の主要な公開ベンチマーク3つ（GIFT-Eval、TIME、fev-bench）すべてで第1位を獲得し、従来の最先端モデルを、そのパラメータ数の3分の2で上回っている。

この結果は、アンサンブルなしの単一チェックポイントによるもので、GIFT-EvalおよびTIMEのリーダーボードに提出されている。Timestralは確率的な多変量予測を生成し、過去のみの共変量と既知の将来共変量の両方をサポートする。

Timestralとは

Timestralは、5M、28M、123M、209Mパラメータの4サイズでリリースされた時系列基盤モデル（TSFM）ファミリーである。4つすべてが同じアーキテクチャと学習レシピを共有している。

属性	Timestral
タイプ	時系列基盤モデル（TSFM）
パラメータ数	5M、28M、123M、209M
コンテキスト長	32,768タイムステップ
出力	確率的予測、21分位数
入力	多変量ターゲット、過去のみおよび既知の将来の共変量
デプロイ	オンプレミス、VPC、またはエアギャップ環境
ライセンス	修正MITライセンス

このモデルは数値予測モデルであり、言語モデルではない。Mistralはこれを、既存の監視パイプライン内で実行したり、マルチモーダルなエージェントワークフローで言語モデルと組み合わせたりできるものとして位置づけている。

ベンチマーク結果

Timestralは、3つの主要な公開予測ベンチマークにおいて、事前学習済みのゼロショットモデルの中で、5つの指標すべてで第1位にランクインしている。GIFT-EvalとTIMEでは低いほど良く、fev-benchで報告される指標はSQLスキルスコアであり、高いほど良い。

GIFT-Eval: 比較可能な事前学習済みおよびゼロショットの83エントリー中のトップ10。
TIME: リーダーボード35エントリー中のトップ10。
fev-bench: SQLスキルスコアによるリーダーボード37エントリー中のトップ10。

Mistralは、同社の28Mモデルが、約4倍のサイズであるChronos-2をGIFT-EvalとTIMEで上回ると報告している。また、209Mモデルは、より少ないパラメータ数でありながら、TimesFM-3とFalcon-2.0を上回る。

モデルサイズと精度対サイズのトレードオフ

Timestralのすべてのサイズは、予測精度とモデルサイズのパレートフロンティア上に位置している: 各モデルサイズについて、Mistralはこれを上回る予測を行う公開モデルは存在しないと主張している。大きなモデルは予測性能を向上させ、小さなモデルは高速かつ低コストである。

Timestralは推論時にGPUを必要としない。8スレッドの標準的なサーバーCPUで、15分間隔の3週間分の履歴から1日先を予測する場合、5Mモデルでは10ms、209Mモデルでは140msかかる。

中間のサイズは、精度とレイテンシを測定可能な形でトレードオフする: 28Mモデルは209Mモデルより5倍高速で、123Mモデルは209Mモデルのスコアの0.2%以内に、そのレイテンシの4分の3で収まる。

時系列基盤モデルが重要な理由

ARIMAや線形回帰などの古典的なモデルは、時系列予測の確立されたツールであり続けているが、通常は単一の系列に適合され、その系列の履歴からのみ学習する。PatchTSTなどの深層学習モデルは、多くの関連系列にわたって非線形パターンを学習する能力を追加するが、それでも通常は各データセットに対してゼロから学習されるため、学習した内容が新しいドメインに引き継がれることはない。

時系列基盤モデルは、事前学習アプローチを時系列にもたらす。大規模で多様なコーパスで学習されたTimestralは、系列をまたいで転移するパターンを学習し、データが不足しているドメインでも、見たことのないデータに対してゼロショットで予測を行う。

Mistralは、企業向けの動機をボリュームに関連付けて説明している: 時系列は、センサーテレメトリから可観測性メトリクスまで、企業で最も一般的なデータタイプの1つである。それに基づく予測は、キャパシティプランニング、エネルギー、サプライチェーン、リスク、メンテナンスにおける意思決定を促進する。産業プラントでは、生産スケジュールに対してプロセスセンサーを予測し、機器のドリフトが故障する前に検出し、数千のアセットにわたってキャパシティとスペアパーツを計画する。財務チームは、フロー、ボリューム、ボラティリティを予測して、数千のアカウントにわたるポジション、ヘッジ、トレジャリーに情報を提供する。

産業用ユースケース: モデルがプラントデータで行うこと

Mistralは、数千のセンサーを備えた産業プラントにとって重要となる4つの機能について説明している。

多変量予測。 ポンプの振動、温度、圧力は独立して動くわけではない。一方の上昇が他方の変化を説明したり引き起こしたりすることがよくある。Timestralは関連する系列を共同でモデル化するため、各センサーを個別に予測するのではなく、それらの依存関係を利用できる。

確率的予測。 単一の予測値だけでは全体像が見えないことがある。Timestralは完全な分位数セットを予測するため、チームは不確実性の広がりを確認し、それを反映したアラートしきい値を設定し、単一の数値ではなくリスクに基づいてメンテナンスを計画できる。

カテゴリカル共変量。 一部の共変量は、連続的な数値ではなく、カテゴリのセットから値を取る。例えば、曜日や、機械の状態（運転中、アイドル中、メンテナンス中）などである。これらを数値としてエンコードすると、本来持っていない順序やスケールが強制される。Timestralはこれらをカテゴリカル入力として直接受け取る。

既知の将来共変量。 センサー挙動の一部の要因は、生産スケジュール、計画されたシャットダウン、天気予報など、事前にわかっている。Timestralはこれらを条件として使用できるため、計画された負荷増加は驚きとしてフラグされるのではなく、期待されるものとなる。

モデルからシステムへ

Mistralは、Timestralが言語モデルと並行して実行されるマルチステップのエージェントワークフローについて説明している:

Timestralはプラントのセンサーストリームで継続的に実行され、異常が発生した時点でそれを検出する。
ポンプの異常をフラグすると、エージェントが信号を埋め込み、過去のセンサーデータの埋め込みと比較して、類似した過去の故障を見つける。
エージェントは、メンテナンス記録、シフトログ、オペレーターのメモ、機器マニュアル、過去の作業指示書、関連機器の測定値などのプラントコンテキストを利用して、根本原因分析を実行するサブエージェントを起動する。
エージェントは、調査結果に基づいて、裏付けとなる証拠と可能な次のステップを含む、提案された診断をドラフトする。

述べられている成果は、プラントマネージャーが、単なるアラートではなく、センサーデータに裏付けられた診断と計画を受け取ることである。

主要な技術的貢献

Mistralは、この結果を4つの組み合わされたアイデアによるものとしている。それぞれについては、今後発行されるテクニカルレポートで詳細に説明される予定である。

1. デカップリング時系列予測（DHF）。 Toto 2.0やTimesFM-3のように、連続パッチマスキングで学習された因果デコーダーは、予測対象の値をマスクするため、それらの値は欠損データのように見え、後の予測のコンテキストとしても失われる。DHFはこの2つを分離する: 完全な履歴はシーケンス内に残り、学習された予測トークンがその前の履歴を読み取る。したがって、観測されたすべての値はターゲットとコンテキストの両方として機能し、真のギャップは欠損としてフラグされたままになり、トレーニングのホライズン長と欠損データ拡張は互いに独立して調整できる。

2. 共変量認識アテンション。 各入力系列には、ターゲット変量、過去のみの共変量、既知の将来の共変量という役割が割り当てられる。既知の将来の共変量はウィンドウ全体で表示されるが、ターゲットは因果的であり、情報は共変量からターゲットへのみ流れる。これにより、Timestralは、ターゲット自身の将来を予測に漏らすことなく、休日カレンダーや天気予報を使用できる。

3. 合成ファーストデータ。 トレーニングデータの大部分は合成データであった。Mistralはまず、トレンド、季節性、多様なノイズパターンなど、一貫性のある時間的ダイナミクスを持つ単変量プロセスを生成した。次に、多変量シンセサイザーを使用して、それらのプロセス間の非線形依存関係を導入することにより、多変量系列を構築した。

4. 2段階トレーニング。 Timestralはまず、コンテキストサイズ8192の純粋に合成されたデータで大規模に事前学習され、その後、4倍長いコンテキストで、実データと合成データの混合でポストトレーニングされる。トレーニング目的は、CRPSの離散近似である21分位数にわたるピンボール損失である。

Mistral Forgeによる適応とデプロイ

公開ベンチマークは一般的な性能を測定するが、本番データは動作と構造が大きく異なる可能性があり、市場がレジームを変え、機器が劣化し、需要パターンが移動するにつれて、時間とともに変化する可能性がある。Mistralは、永続的な価値は、モデルをドメイン内データに適応させ、分布が移動するにつれて再トレーニングすることにあると主張している。

Timestralは、Mistralが言語モデルに使用しているのと同じトレーニングパイプラインであるMistral Forgeを通じて利用できる。Forgeがサポートするもの:

ゼロショット推論 はそのまま利用可能。
アーキテクチャ拡張、ドメイン固有の共変量など。
プロプライエタリデータでのファインチューニング、一般的な性能を維持しながらドメインに特化。
トレーニングデータの制御、トレーニングミックスの調整、事前学習データの再生、ターゲットドメイン用の合成サンプルの生成など。Mistralは、データを完全に制御することで、バックテストされたものが事前学習中に参照されないことを保証すると述べている。

完全なパイプラインは、エアギャップ環境を含むクライアントのハードウェアにデプロイできる。

入手可能性

Mistralは、ユーザーが独自のデータでTimestralを実行できるように、GitHubリポジトリgithub.com/mistralai/timestralを公開している。完全な結果を含むテクニカルレポートは後日公開される予定である。Mistralはまた、より専門的な予測問題や研究協力についての連絡も歓迎している。

Hacker Newsの議論で疑問視された点

Hacker Newsの98コメントのスレッドは、エンジニアリングへの熱意と、一般的な時系列基盤モデルがそもそも正しい抽象化であるかどうかについての懐疑論の間で大きく分かれた。

単一の時系列バケットに対する反対論

最も詳細な批判は、主にオーディオ/ビジョンMLで働くコメンターからで、「時系列」が意味のある単一のカテゴリであるかどうかを疑問視した:

私の分野は主にオーディオ/ビジョンMLなので、特定のドメインの専門知識はありませんが、すべての「時系列」を1つの大きなバケットにまとめることができるとは理解できません。私の素朴な理解では、精度を向上させる方法は、可能な限り多くの共同情報を取得することです。

同じコメンターは、既知の将来の共変量をオプションの拡張ではなくシステムの基盤にすべきだと主張し、電気料金予測を例として挙げた:

私には、これは予測品質を向上させるための条件ではなく、システムの全体の基盤であるべきだと思います。たとえば、電力消費量をモデル化する場合、N個の以前のサンプルのウィンドウしかないと、時刻、今後の休日、天気予報などを知っている比較的単純なシステムに完全に打ち負かされるでしょう。

また、5Mパラメータのモデルが共変量ラベルについて有用な帰納的バイアスを持つことができるかどうかという問題も提起した:

5Mモデルは「銀行休業日」が何かを知らず、任意のクラスが0から1に変わるのを見るだけで、それが何を意味するか、または他の情報とどうリンクするかについての有用な帰納的バイアスを持ちません。

TSFMを省力化インフラとして支持する論

対抗する議論は、大規模な予測の運用現実に焦点を当てたものであった — 多くの系列があり、それぞれが独自のモデルをサポートするには履歴が少なすぎる:

確かに、休日やイベントの共変量を使って時系列にXGBoostモデルをトレーニングすることもできますが、予測する系列が1万個あったらどうしますか？各系列に1つずつ、1万個の異なるモデルをトレーニングすることもできますが、そうすると学習する履歴がほとんどありません。あるいは、1万個すべてをカバーする単一の汎用モデルをトレーニングすることもできますが、その場合、系列間のスケールの不一致に加えて、系列間のフィーチャ開発のオーバーヘッドに対処する必要があります。TSFMは、これらの各系列のモデリングにかかる大量の作業を節約し、より正確な予測によりうまく一般化できる可能性があります。

評価が難しい部分

複数のコメンターが、予測は客観的に評価するのが難しいと主張した。なぜなら、テストできる観測された履歴は1つだけだからである:

予測を客観的に評価する方法がわかりません。私たちはただ1つの宇宙を観測します。私たちが持っているこの1つの観測にモデルを過剰適合させます。だから結局、誰も予測モデルを信頼したり非難したりしないのです。特に、オール・オア・ナッシングタイプの決定では。

別のコメントは、制御された信号対雑音比を持つ合成データ生成プロセスを使用した具体的なテスト方法論を提案した:

予測モデルを有意義にテストするには、古典的な方法（経験的条件付き分布、つまりカウント）が信号の大部分を捉えることができる、高い信号対雑音比を持つデータ生成プロセスを使用します。次に、モデルがその信号も捉えているかどうかを確認します。高ノイズプロセスでのみテストすると、どのモデルもSOTAと同等に見えます。

ベンチマークの提示が批判を招いた

あるコメンターは、結果の視覚化方法に異議を唱えた:

0.03の改善を5倍の差のように見せるのはクレイジーだ

ライセンスとオープンウェイト

スペック表にはTimestralが修正MITライセンスの下にあると記載されているが、少なくとも1人のコメンターはその条件を制限的と解釈した:

リーダーのt0-gammaにこれほど近い性能を達成しているのは非常に印象的ですが、残念ながらライセンスが制限的です

別のコメンターは、このリリースをこの分野のオープンな競争に向けた一歩と位置づけ、Nixtlaのツールに言及した:

あれを使ったのを覚えていますが、かなり良かったので、この分野でよりオープンな競争が生まれるのは嬉しいです

別のコメントは、TimestralがNixtlaのTimeGPTとどう比較するかを直接尋ね、Nixtlaリポジトリへのリンクを貼った。

可観測性: ブラックボックスで十分か？

信号処理の研究開発エンジニアが、Timestralがどのような動的システムの可観測性を提供するかを尋ね、3つのモデリングアプローチを対比させた: 未知のパラメータを持つ既知のモデル構造の適合、モデルフリーの基底関数探索、そして純粋な入力/出力ブラックボックス。彼らは、最初のアプローチは変数がどのように結合され、どの程度強く結合されているかについての洞察をもたらし、パラメータ調整に関するビジネス上の意思決定をサポートすると述べた。スペック表を確認した後、同じコメンターは次のように結論付けた:

編集: オンプレミスで実行できる純粋なブラックボックスのようです。

顧客ストーリーへの懐疑

あるコメンターは、時系列基盤モデルの魅力をマーケティング主導と一蹴し、名前の挙がった参照顧客がいないことを指摘した:

ふん....時系列データはテキストデータとは根本的に異なります。時系列「基盤モデル」が魅力的に見える理由はわかりますが、特にMistralのマーケティング担当者にとっては。実世界での実用性は非常に限られており、それがおそらく、ブログ投稿が実際の参照ではなく架空の顧客をフィーチャーしている理由でしょう。

シーケンスモデルの景観におけるモデルの位置づけ

あるコメンターは、大規模言語モデルは抽象的なレベルで、より一般的なクラスの時系列モデルであると示唆した — 「汎用シーケンスモデルのようなもの」と。別のコメントは、この分野への長年の関心に言及し、2006年から時系列予測に強気であり、Spacetimeformerは言語モデルの進歩に overshadowed された大きな飛躍であったと述べた。

Mistral自体へのさまざまな反応

スレッドには、企業としてのMistralに関するより広範なコメントも含まれていた。あるコメンターはこのリリースを「素晴らしい欧州の主権」と賞賛したが、別のコメンターはMistralの他のモデルリリースを批判し、欧州は技術人材をどのように成長させ、維持するかを再検討する必要があると主張した。3人目のコメンターは、マクロ予測作業のためにTimestralに移行していると述べた。スレッド内のいくつかのコメントはモデレーターによってフラグが付けられ、技術的というよりは風刺的またはプロモーション的なものもあった。

実用的な質問

繰り返し出た感情は、あるコメンターが最も率直に述べたように、モデルは興味深いが、位置づけが難しいというものだった:

何か違うものが好きですが、これをどう使うか考えあぐねています。

対照的な見解は、ツールがどれほど変わったかに言及したコメンターから来た: 5年前は予測モデルの構築とデプロイに数か月かかったが、今ではLLMアシスタンスとプロプライエタリデータでのファインチューニングにより、同等の結果を数分で生成できる。彼らの表明された願いは、このレベルの性能を持つオープンウェイトモデルだった。