Mistral Timestral: 時系列基盤モデル、5Mから209Mパラメータまで

Mistral AIは、同社初となる時系列基盤モデルのファミリー「Timestral」をリリースしました。最大の209Mパラメータを持つモデルは、この分野の主要な公開ベンチマークであるGIFT-Eval、TIME、fev-benchのすべてで1位を獲得し、従来の最先端モデルをパラメータ数の3分の2で上回っています。このリリースが重要な理由は、言語やビジョンの分野を再形成した事前学習パラダイムをエンタープライズの時系列データに適用したこと、そしてファミリー全体がCPUで動作するため、既存のモニタリングやプランニングのパイプライン内でゼロショット予測を実用的にしたことです。

Timestralとは

Timestralは、確率的な多変量予測を生成し、過去のみの共変量と既知の未来の共変量の両方をサポートする時系列基盤モデル（TSFM）のファミリーです。Mistralはこれを同社初の時系列基盤モデルのファミリーと説明しています。

モデルは大規模かつ多様なコーパスで事前学習されており、学習されたパターンが系列間で転移するため、モデルが一度も見たことのないデータ（データが乏しいドメインを含む）に対してゼロショット予測が可能です。結果はGIFT-EvalおよびTIMEのリーダーボードに提出されています。

ベンチマーク結果

Mistralによると、事前学習済みのゼロショットモデルの中で、Timestralは3つの主要な公開予測ベンチマークの全5指標で1位を獲得しています。これらの結果は、アンサンブルなしの単一チェックポイントから得られています。

GIFT-Eval: Timestralは、比較可能な事前学習済みおよびゼロショットの83エントリーのトップ10に登場します。低いほど良いです。
TIME: Timestralは、35のリーダーボードエントリーのトップ10に登場します。両指標とも低いほど良いです。
fev-bench: Timestralは、SQLスキルスコアで測定される37のリーダーボードエントリーのトップ10に登場します。高いほど良いです。

Mistralは、209Mモデルが従来の最先端モデルをパラメータ数の3分の2で上回ると述べています。

4つのモデルサイズと精度-レイテンシのトレードオフ

Timestralは5M、28M、123M、209Mの4つのサイズでリリースされており、すべて同じアーキテクチャとトレーニングレシピを共有しています。Mistralは、すべてのサイズが精度とモデルサイズのパレート最前線上にあると主張しています。各モデルサイズについて、公開モデルでより良い予測を行うものはありません。

Mistralが報告する具体的な比較は以下の通りです：

28Mモデルは、約4倍大きいChronos-2をGIFT-EvalとTIMEで上回ります。
209Mモデルは、より少ないパラメータでTimesFM-3とFalcon-2.0を上回ります。
123Mモデルは、209Mモデルのスコアの0.2%以内に、レイテンシの4分の3で達します。
28Mモデルは209Mモデルより5倍高速です。

GPUなしのCPU推論

Timestralは推論時にGPUを必要としません。標準的なサーバーCPU（8スレッド）で、3週間分の15分間隔の履歴から1日先を予測するのに、5Mモデルでは10ms、209Mモデルでは140msかかります。小さいモデルは精度の一部を速度と交換します。

主要な技術的貢献

MistralはTimestralの結果を4つの組み合わせたアイデアによるものとしており、それぞれ詳細は今後のテクニカルレポートで説明されます。

1. 分離型ホライズン予測（DHF）

Toto 2.0やTimesFM-3で使用されている連続パッチマスキングでトレーニングされた因果デコーダーは、予測対象の値をマスクするため、それらの値は欠損値のように見え、後の予測のコンテキストとしても失われます。MistralのDHFアプローチはこの2つを分離します。完全な履歴はシーケンス内に残り、学習された予測トークンがその前の履歴を読み取ります。したがって、観測されたすべての値はターゲットとコンテキストの両方として機能し、真のギャップは欠損としてフラグが立てられ、トレーニングのホライズン長と欠損データ拡張を互いに独立して調整できます。

2. 共変量認識アテンション

各入力系列には役割が割り当てられます：ターゲット変数、過去のみの共変量、または既知の未来の共変量。既知の未来の共変量はウィンドウ全体で可視ですが、ターゲットは因果的であり、情報は共変量からターゲットへのみ流れます。したがって、Timestralはホリデーカレンダーや天気予報を使用しても、ターゲット自身の未来を予測に漏らすことはありません。

3. 合成データ優先

Timestralのトレーニングデータの大部分は合成データでした。Mistralはまず、トレンド、季節性、多様なノイズパターンなど、一貫した時間的ダイナミクスを持つ単変量プロセスを生成しました。次に、多変量シンセサイザーを使用して、それらのプロセス間の非線形依存関係を導入することにより、多変量系列を構築しました。

4. 2段階トレーニング

Timestralは、まずコンテキストサイズ8192の純粋な合成データで大規模に事前学習され、その後、実データと合成データの混合で4倍長いコンテキストでポストトレーニングされます。トレーニング目的は、CRPSの離散近似である21の分位数にわたるピンボール損失です。

時系列基盤モデルがエンタープライズにとって重要な理由

時系列は、センサーテレメトリから可観測性メトリクスまで、エンタープライズで最も一般的なデータタイプの1つであり、それに基づく予測はキャパシティプランニング、エネルギー、サプライチェーン、リスク、メンテナンスにおける意思決定を駆動します。

Mistralはこの分野の進化を3つの段階で捉えています。ARIMAや線形回帰などの古典的なモデルは依然として確立されたツールですが、通常は単一の系列に適合し、その系列の履歴からのみ学習します。PatchTSTなどの深層学習モデルは、多くの関連系列にわたる非線形パターンを学習する能力を追加しますが、通常は各データセットでゼロからトレーニングされるため、学習した内容が新しいドメインに引き継がれません。時系列基盤モデルは、事前学習アプローチを時系列にもたらし、系列間で転移するパターンを学習し、未知のデータに対してゼロショット予測を行います。

産業例：工場内の数千のセンサー

Mistralは、機器全体に数千のセンサーを持つ産業プラントの例でモデルの能力を示しています。

多変量予測: ポンプの振動、温度、圧力は独立に動くわけではありません。1つの上昇が別の変化を説明または引き起こすことがよくあります。Timestralは関連する系列を共同でモデル化するため、各センサーを個別に予測する代わりにこれらの依存関係を使用できます。
確率的予測: 単一の予測値では全体像が見えない場合があります。Timestralは完全な分位数セットを予測するため、チームは不確実性の広がりを確認し、それを反映したアラートしきい値を設定し、単一の数値ではなくリスクに基づいてメンテナンスを計画できます。
カテゴリカル共変量: 一部の共変量は連続数値ではなくカテゴリのセットから値を取ります。例：曜日や機械の状態（稼働中、アイドル、メンテナンス中）。これらを数値としてエンコードすると、実際には存在しない順序やスケールが課されます。Timestralはこれらをカテゴリカル入力として直接受け取ります。
既知の未来の共変量: 生産スケジュール、計画された停止、天気予報など、センサー動作の一部の要因は事前にわかっています。Timestralはこれらを条件として使用できるため、計画された負荷増加は驚きとしてフラグされるのではなく期待されます。

モデルからシステムへ

Timestralは既存のモニタリングパイプライン内で実行できる数値モデルであり、Mistralの言語モデルと組み合わせてマルチモーダルエージェントワークフローで使用できます。Mistralはこのプラントワークフローを次のようにスケッチしています：

Timestralはプラントのセンサーストリームで継続的に実行され、異常が発生したときに検出します。
ポンプで異常をフラグすると、エージェントが信号を埋め込み、過去のセンサーデータの埋め込みと比較して同様の過去の障害を見つけます。
エージェントはサブエージェントを起動して根本原因分析を実行し、メンテナンス記録、シフトログ、オペレーターのメモ、機器マニュアル、過去の作業指示書、関連機器の測定値などのプラントコンテキストを使用します。
エージェントは、調査結果に基づいて、証拠と可能な次のステップを添えて、提案された診断をドラフトします。

プラントマネージャーは、単なるアラートではなく、センサーデータに裏付けられた診断と計画を取得します。

Mistral ForgeでのTimestralの適応

公開ベンチマークは一般的なパフォーマンスを測定しますが、本番データは動作と構造が大幅に異なる場合があり、市場のレジーム変更、機器の劣化、需要パターンの移動に応じて時間とともにシフトする可能性があります。Mistralは、永続的な価値はモデルをドメイン内データに適応させ、分布が移動するにつれて再トレーニングすることにあると主張しています。

Timestralは、Mistralが言語モデルに使用しているのと同じトレーニングパイプラインであるMistral Forgeを通じて利用可能です。サポート内容：

ゼロショット推論 すぐに使用可能。
アーキテクチャ拡張（ドメイン固有の共変量など）。
独自データでのファインチューニング：一般パフォーマンスを維持しながらドメインに特化。
トレーニングデータの制御：トレーニングミックスの調整、事前学習データのリプレイ、ターゲットドメインを反映した合成データサンプルの生成など。Mistralは、データに対する完全な制御により、バックテストされたものが事前学習中に見られなかったことを保証すると述べています。

完全なパイプラインは、エアギャップ環境を含むクライアントのハードウェアにデプロイできます。

仕様と可用性

属性	Timestral
タイプ	時系列基盤モデル（TSFM）
パラメータ	5M、28M、123M、209M
コンテキスト長	32,768タイムステップ
出力	確率的予測、21分位数
入力	多変量ターゲット、過去のみおよび既知の未来の共変量
デプロイメント	オンプレミス、VPC、またはエアギャップ
ライセンス	修正MIT

Mistralはgithub.com/mistralai/timestralにGitHubリポジトリを公開しており、ユーザーは独自のデータでTimestralを実行できます。完全な結果を含むテクニカルレポートは後日公開されます。Mistralは、より専門的な予測問題を持つ組織や研究協力に関心のある組織に連絡を呼びかけています。