ai-dynamo/dynamo

Dynamo – データセンター規模の推論オーケストレーションスタック

概要 – Dynamo は、既存の LLM 推論エンジン（vLLM、SGLang、TensorRT-LLM など）の上に位置するオープンソースプラットフォームで、GPU やノード全体の集合を、調整されたマルチノードサービングシステムに変えます。基盤となるエンジンを置き換えるものではなく、オーケストレーション、ルーティング、キャッシュ、自動スケーリングを追加して、大規模な言語モデルワークロードを低遅延でスケールして提供できるようにします。

主な機能

機能	説明	重要性
分離された prefill / decode	Prefill（プロンプト処理）と decode（トークン生成）は、独立してスケーリングできる別々の GPU プールで実行されます。	GPU をビジー状態に保ちます – prefill は計算負荷が高く、decode はメモリ負荷が高い – そのため全体的なスループットが向上します。
KV 対応ルーティング	リクエストは、キーバリュー（KV）キャッシュがワーカーの既存キャッシュと重複する度合いに基づいてルーティングされます。	同じ prefill 作業を繰り返すことを回避し、最初のトークンまでの時間（TTFT）を約半分に短縮します。
KV ブロックマネージャー（KVBM）	KV キャッシュを GPU から CPU、SSD、またはリモートストレージにオフロードし、実効コンテキスト長を GPU メモリを超えて拡張します。
ModelExpress	NVLink/NIXL を介して GPU 間でモデルの重みを直接ストリーミングします。	新しいレプリカを起動する際のコールドスタートを最大 7 倍高速化します。
プランナー（SLA 駆動のオートスケーラー）	ワークロードをプロファイリングし、レイテンシを予測し、レイテンシのサービスレベル契約（SLA）を最小コストで満たすように prefill プールと decode プールを自動的に適正化します。
Grove K8s オペレーター	NVIDIA-NVL72 ラック向けのトポロジー対応ギャングスケジューリングを提供します。
AISimulate	GPU が割り当てられる前にサービング動作を予測し、最適なデプロイ構成を検索するオフラインシミュレーターです。
フォールトトレランス	カナリアヘルスチェックと進行中のリクエスト移行により、ワーカーが失敗した場合でもリクエストを維持します。

サポートされているバックエンド – Dynamo は SGLang、TensorRT-LLM、vLLM と連携します（機能マトリックスではすべて ✅ とマークされています）。また、マルチモーダルモデル、ツール呼び出し、ビデオ生成パイプラインもサポートしています。

使用方法

1. コンテナクイックスタート – 目的のバックエンド用の事前構築済み Docker イメージをプルし、Dynamo フロントエンドとワーカーを実行してから、OpenAI 互換の /v1/chat/completions エンドポイントを呼び出します。
2. Python インストール – ai-dynamo パッケージを（uv または pip 経由で）バックエンド用のエクストラとともにインストールし、コマンドラインから同じコンポーネントを起動します。
3. Kubernetes 本番環境 – Dynamo Platform をデプロイし、モデル、バックエンド、レイテンシ SLA を指定する単一の DynamoGraphDeploymentRequest マニフェストを送信します。Dynamo のプランナー、AISimulate、Grove が、適切な数の GPU Pod を自動的にプロビジョニングし、ルーティングを構成します。

README のパフォーマンスハイライト

• DeepSeek-R1（GB200 NVL72）で、Dynamo なしのベースラインと比較して GPU あたりのスループットが 7 倍向上。
• ModelExpress の重みストリーミングにより、モデルのコールドスタートが 7 倍高速化。
• KV 対応ルーティングにより、Qwen3-Coder 480B の TTFT が 2 倍高速化。
• プランナー駆動の自動スケーリングにより、SLA 違反が 80% 減少。
• より大規模な GB300 システムでは、DeepSeek-R1 のスループットが最大 750 倍向上。

コミュニティとエコシステム – Dynamo は NVIDIA が支援し、公開 Slack、定期的なオフィスアワー、設計提案プロセス、160 人以上のコントリビューターがいます。LangChain、NVIDIA NeMo Agent Toolkit と統合し、人気モデル（Qwen、DeepSeek、Kimi など）のレシピを提供しています。

Dynamo をいつ使用するか – 複数の GPU またはノードにわたって大規模なモデルをサービスする必要がある場合、冗長な prefill 作業を回避したい場合、レイテンシ SLA を満たすための自動スケーリングが必要な場合、またはコンテキスト長を GPU メモリを超えて拡張したい場合、Dynamo はそれを可能にするオーケストレーションレイヤーを提供します。単一 GPU、単一モデルのデプロイでは、通常は単純な推論エンジンで十分です。

---

TL;DR – Dynamo は、既存の LLM 推論エンジンを、スマートルーティング、KV キャッシュ、自動スケーリング、Kubernetes 統合を備えた、スケーラブルで低遅延のマルチノードサービングシステムに変える、オープンソースの Rust ベースのオーケストレーションフレームワークです。