ai-dynamo/dynamo

何を解決するか

Dynamo は、複数の GPU とノードを単一の高性能推論システムに統合するためのデータセンター規模のオーケストレーションレイヤーです。単一ノードの推論エンジンの限界を克服し、知能的なルーティング、非統合型サービング、自動スケーリングを提供することで、LLM、マルチモーダル、動画生成ワークロードのスループットを最大化し、レイテンシを最小化します。

動作方法

Dynamo は、SGLang、TensorRT-LLM、vLLM などの既存の推論エンジンの上に配置され、それらを置き換えるものではありません。パフォーマンスのために Rust、拡張性のために Python を組み合わせて、以下の主要なメカニズムを実装しています：

• 非統合型サービング： 推論のプレフィルフェーズとデコードフェーズを独立してスケーラブルな GPU プールに分離します。
• KV キャッシュを意識したルーティング： ワーカーの負荷と KV キャッシュの重複に基づいてリクエストをルーティングし、重複するプレフィル計算を排除します。
• KV ブロックマネージャー (KVBM)： KV キャッシュを GPU、CPU、SSD、リモートストレージにオフロードして、コンテキスト長を延長します。
• ModelExpress： NIXL/NVLink を介して GPU 同士でモデル重みをストリーミングし、コールドスタートを高速化します。
• SLA ベースのプランナー： ワークロードをプロファイリングして GPU プールを適正サイズに調整し、レイテンシ目標を達成する自動スケーラーです。
• Grove： NVL72 システム上でトポロジーアウェアなギャングスケジューリングを実現する Kubernetes オペレーターです。

対象ユーザー

複数の GPU やノードで LLM を提供する開発者や運用担当者で、厳格なレイテンシ SLA を満たし、総所有コスト（TCO）を削減し、プレフィルとデコードを独立してスケーリングしたい方を対象としています。

主な特徴

• 高いパフォーマンス： 特定のハードウェア上で DeepSeek-R1 に対して最大 750 倍のスループット向上を実証。
• エンジン非依存： SGLang、TensorRT-LLM、vLLM のバックエンドをサポート。
• ゼロ構成デプロイ： ベータ機能で、モデル、ハードウェア、SLA を指定する単一の YAML でデプロイ可能。
• OpenAI 互換： シンプルな統合を可能にする OpenAI 互換 API を提供。
• フェイルセーフ： キャニーラヘルスチェックと実行中のリクエスト移行機能を備え、信頼性を確保。