DataDog/toto

解決的問題

Toto 是一個專為多變量時間序列預測設計的基礎模型，特別針對可觀測性指標（系統監控資料）進行優化。它解決了在不同軟體堆疊與服務中，無需為每個新資料集進行大量領域特定訓練，即可預測多個相關變數未來值的挑戰。

工作原理

Toto 採用僅解碼器的 Transformer 架構。Toto 2.0 使用 u-μP 標度的 Transformer，並交替使用時間與變數注意力機制，以高效處理高維時間序列。它提供機率預測，即生成點預測與不確定性估計（分位數），而不僅僅是單一預測值。

Toto 1.0 使用比例因子分解時空注意力機制與學生 t 混合模型進行機率預測。專案還包含 BOOM（可觀測性指標基準）資料集，用於評估真實世界可觀測性資料上的預測效能。

適用對象

• SRE 與 DevOps 工程師：監控系統指標以預測潛在故障或容量問題的人。
• 資料科學家：從事時間序列預測與基礎模型研究的研究人員。
• ML 工程師：在生產可觀測性流程中實現零樣本或微調預測模型的開發者。

主要亮點

• 零樣本預測：無需在特定資料集上微調即可預測未來值。
• 機率預測：透過分位數頭（2.0）或學生 t 混合模型（1.0）生成不確定性估計。
• 大規模預訓練：Toto 1.0 在超過 2 兆個時間序列資料點上進行訓練，其中包括來自 Datadog 指標的 1 兆個資料點。
• 可擴展的模型家族：Toto 2.0 提供從 400 萬到 25 億參數的多種模型。
• 外生變數支援：Toto 1.0 支援使用已知的未來共變量以提升預測準確性。