llm-d/llm-d

何を解決するか

llm-d は、大規模言語モデル（LLM）の本番環境における最先端（SOTA）の推論パフォーマンスを達成するために必要な複雑さや手動チューニングを排除することを目的としています。Kubernetesに最適化された高性能分散推論サービングスタックを提供し、OSSモデルをさまざまなハードウェアアクセラレータ上で効率的かつ信頼性高く配信することを保証します。

動作方法

llm-d は、vLLM や SGLang などのモデルサーバーの上に位置するオーケストレーションおよび最適化レイヤーです。複数の高度な技術を採用して、スループットを最大化し、レイテンシを低減します。

• インテリジェントルーティング： プレフィックスキャッシュとロード感知バランス、実験的な予測レイテンシスケジューリングを用いて、リクエストの配分を最適化。
• KVキャッシュ管理： CPU またはディスクへの階層的オフロードとグローバルインデックスを実装し、マルチターン会話における有効なワーキングセットサイズを拡大。
• 大規模モデルのサービング： プレフィル/デコードの非同期化と広範なエキスパート並列処理を活用し、DeepSeek-R1 などの巨大モデルを最適化。
• 運用の優れたパフォーマンス： SLO対応のオートスケーリングとマルチテナント環境向けのインテリジェントフロー制御を提供。
• バッチ処理： OpenAI互換のバッチAPIを介して大規模なオフライン推論を管理。

対象ユーザー

NVIDIA、AMD、Intel、Google TPU を含む多様なハードウェアとクラウドプロバイダー上で、Kubernetes 上でLLM推論サービスをデプロイおよびスケーリングする必要があるMLOpsエンジニアおよびインフラストラクチャプロバイダー。

主な特徴

• CNCF Sandboxプロジェクト： Red Hat、Google Cloud、IBM Research、CoreWeave、NVIDIA などの業界リーダーが共同設立。
• ハードウェア非依存： NVIDIA B200、AMD MI300X、Intel XPU など、幅広いアクセラレータに最適化。
• プレフィル/デコードの非同期化： 通常の vLLM と比較して、スループットが最大70%向上（トークン/秒）。
• 階層的KVオフロード： 高同時ユーザー負荷下で最大13.9倍のスループット向上。
• 詳細なベンチマーク： Prismプラットフォームを通じて再現可能なベンチマークを提供。