llm-d/llm-d

解決する課題

llm-dは、大規模なプロダクション環境における大規模言語モデル（LLM）のチューニングとデプロイの複雑さを排除するように設計されています。標準的なモデルサーバーのパフォーマンスのボトルネックに対処するため、さまざまなハードウェアアクセラレータにわたってスループットを最大化し、レイテンシを低減するオーケストレーションおよび最適化レイヤーを提供します。

仕組み

llm-dは、vLLMやKubernetesなどの業界標準のテクノロジーと統合し、分散推論サービングスタックを提供します。パフォーマンスを最適化するために、いくつかの高度な技術を採用しています：

• インテリジェント・ルーティング: prefix-cacheと負荷を考慮したバランシング、および予測レイテンシ・スケジューリングを使用して、レイテンシを低減しスループットを向上させます。
• KV-Cache管理: CPUまたはディスクへの階層型オフローディングとグローバルインデックスを実装し、マルチターンリクエストの有効なワーキングセットサイズを拡大します。
• 大規模モデルのサービング: prefill/decode disaggregationと高速インターコネクト経由の広範なエキスパート並列処理を利用して、巨大なモデルを最適化します。
• 運用上の卓越性: マルチテナントサービングのためのインテリジェントなフロー制御と、リアルタイム信号に基づくSLO認識のオートスケーリングを提供します。
• バッチ処理: OpenAI互換のBatch APIと非同期処理を介して、大規模なオフライン推論を管理します。

対象者

このプロジェクトは、Kubernetes上のプロダクション環境でLLMをデプロイし、さまざまなハードウェアアクセラレータ（NVIDIA、AMD、Intel、Google TPUなど）にわたって最先端（SOTA）の推論パフォーマンスを達成しようとしているエンジニアおよび組織を対象としています。

ハイライト

• CNCF Sandbox Project: Red Hat、Google Cloud、IBM Research、CoreWeave、NVIDIAを含む業界のリーダーによって設立されました。
• 大幅なパフォーマンス向上: prefix-cacheを考慮したルーティングにより、出力スループットが3倍、TTFTが2倍高速になることが検証されています。
• 幅広いハードウェアサポート: 幅広いアクセラレータおよびインフラストラクチャプロバイダー向けに最適化されています。
• プロダクション対応のレシピ: デプロイとベストプラクティスを簡素化するための、ベンチマーク済みのガイドとHelmチャートを提供します。