DataDog/toto

何を解決するか

Toto は、観測メトリクス（システム監視データ）に特化して最適化された多変量時系列予測用のファウンデーションモデルです。異なるソフトウェアスタックやサービスにおいて、関連する複数の変数の将来値を予測する課題に対処し、新しいデータセットごとに膨大なドメイン特化トレーニングを必要とせずに済みます。

動作方法

Toto はデコーダーのみのトランスフォーマー構造を使用しています。Toto 2.0 は、時間と変数の注意機構を交互に用いる u-μP-scaled トランスフォーマーを採用し、高次元時系列を効率的に処理します。確率的予測を提供しており、単一の予測値だけでなく、不確実性推定（分位数）も生成します。

Toto 1.0 は、比例因子分解時空間注意機構と Student-T 積和モデルを用いて確率的予測を行います。プロジェクトには、実世界の観測メトリクスデータにおける予測性能を評価するための BOOM（Observability Metrics のベンチマーク）データセットも含まれています。

対象ユーザー

• SRE および DevOps エンジニア: システムメトリクスを監視し、潜在的な障害や容量問題を予測する人。
• データサイエンティスト: 時系列予測やファウンデーションモデルに関する研究に従事する人。
• ML エンジニア: 本番環境の観測パイプラインでゼロショットまたはファインチューニングされた予測モデルを実装する開発者。

特徴

• ゼロショット予測: 特定のデータセットでのファインチューニングなしで将来の値を予測できる能力。
• 確率的予測: 分位数ヘッド（2.0）または Student-T 積和モデル（1.0）を用いて不確実性推定を生成。
• 大規模な事前学習: Toto 1.0 は Datadog メトリクスを含む 2兆以上の時系列データポイントで学習済み。
• スケーラブルなモデルファミリー: Toto 2.0 は 400万から 25億パラメータのモデルを提供。
• 外生変数サポート: Toto 1.0 は、将来の既知の共変量を活用して精度を向上させるサポートを提供。