llm-d/llm-d

llm‑d – Kubernetes 上での高性能分散型 LLM 推論

何であるか

• vLLM や SGLang などのモデルサーバーの上に配置されるオープンソーススタックで、大規模言語モデル（LLM）推論用のプロダクションレベルのオーケストレーション、ルーティング、キャッシュ管理を追加します。
• クラウドネイティブ環境（Kubernetes、Helm）を想定しており、Red Hat、Google Cloud、IBM Research、CoreWeave、NVIDIA が共同で設立した CNCF Sandbox プロジェクトをバックボーンとしています。

コア機能

分野	llm‑d が追加する機能
インテリジェントルーティング	プレフィックスキャッシュ対応およびロード対応のロードバランシング；実験的な遅延予測スケジューラにより、遅延を削減しスループットを向上。
KVキャッシュ管理	アテンションのKVキャッシュをCPUまたはディスクに階層的にオフロードし、グローバルインデックスにより複数ターンのリクエストがより大きなワーキングセットを維持可能。
大規模モデルサービング	プレフィル/デコードの非同期化と ワイドエキスパート並列 により、巨大モデル（例：DeepSeek‑R1、GPT‑OSS‑120B）を高速な相互接続に分散。
運用の優れたパフォーマンス	マルチテナントトラフィック用フロー制御、SLO対応のオートスケーリング、アクティブ・アクティブHAにより、スケールアップ時のサービス安定性を確保。
バッチ処理	OpenAI互換のバッチAPIと非同期パイプラインを提供し、オフラインワークロードを最大化し、ハードウェア利用効率を高める。

パフォーマンスのハイライト（READMEに記載）

• プレフィックスキャッシュルーティングを使用した Llama 3.1 70B において、出力スループットが3倍、初出力までの時間（TTFT）が2倍高速化（4× AMD MI300X）。
• NVIDIA GPUで予測遅延スケジューリングを使用し、TTFT/ITLを40％削減。
• プレフィル/デコードの非同期化により、GPT‑OSS（AWS B200）で最大70％のトークン/秒増加。
• 16×16 NVIDIA B200メッシュでワイドエキスパート並列により、クラスタースループットが50kトークン/秒。

使い方

1. デプロイ – クイックスタートガイドに従い、Kubernetesクラスタ（あらゆるクラウドまたはオンプレミス）にHelmチャートをインストール。スタックはルーター、キャッシュマネージャ、モデルサーバーポッドを自動プロビジョニングします。
2. 設定 – モデルサイズとハードウェアアクセラレータ（NVIDIA、AMD、Intel、Google TPUなど）に応じて、「明るい道」（例：Optimized Baseline、Tiered Prefix Cache、Wide Expert-Parallelism）を選択します。
3. 実行 – 提供された OpenAI互換 REST エンドポイントまたはバッチAPI経由で推論リクエストを送信。llm‑d はトラフィックをルーティングし、KVキャッシュの階層を管理し、リアルタイムの遅延信号に基づいてポッドをスケーリングします。
4. モニタリング – ビルトインの Prometheus メトリクスと SLO 対応オートスケーリングにより、スループット、遅延、リソース利用状況を監視できます。

誰が恩恵を受けるか

• 低遅延かつコスト予測可能な形で多数の同時LLMユーザーを提供したい 企業。
• 異種アクセラレータ上で最新のモデルを再現可能かつクラウドネイティブに実行したい ML-opsチーム。
• 新しいモデルや推論テクニックを手動でKubernetesデプロイをチューニングせずにベンチマークしたい 研究ラボ。

スタートガイド

• クイックスタートガイド を読む: https://llm-d.ai/docs/getting-started/quickstart
• 明るい道 ドキュメントからスタートレシピを選択（例：optimized-baseline）。
• Helmでデプロイ（リポジトリにはバージョン固定チャートが提供）。READMEは正確なチャートバージョンをリリースページにリンクしています。

コミュニティと貢献

• CNCF承認プロジェクト。公開Slack、2週間ごとのスタンドアップ、SIG、完全な貢献ガイドを備えています。
• Apache 2.0 ライセンス – 商用・学術用途ともに無料。

---

上記すべての詳細はリポジトリのREADMEから直接取得；追加機能は推測されていません。