ai-dynamo/aiconfigurator

何を解決するか

分散型LLMサービングのためのLLMデプロイメントを設定するのは複雑です。ユーザーは、プレフィルとデコードワーカーの数、並列化設定、SLA目標（例：最初のトークンまでの時間、出力トークンあたりの時間）をバランスさせる必要があり、遅延を犠牲にせずにスループットを最大化しなければなりません。

どうやって動くか

AIConfiguratorは、特定のハードウェアとフレームワークのパフォーマンスデータを収集してLLM推論をモデル化します。ユーザーのモデル、GPU数、GPUタイプに基づいて、数千もの潜在的な構成を探索し、最適な設定を見つけ出します。以下のモードで動作できます：

• デフォルト：集約型 vs. 分散型デプロイメントを比較し、全体的に最適な構成を特定します。
• 推奨：購入ツールとして機能し、特定のパフォーマンス目標を満たすために必要な最小GPU数を計算します。
• 生成：フルパラメータスイープなしで、迅速に基本的な構成を作成します。
• Exp：YAMLファイルで定義されたカスタム実験を実行します。

対象ユーザー

Dynamoまたはllm-dを使用して、厳格な遅延SLAを満たしつつ、可能な限り高いスループットを達成する必要があるMLエンジニアやインフラアーキテクト。

特徴

• マルチバックエンド対応：trtllm、vllm、sglang に対応。
• 自動探索：スループットと遅延のパレートフロンティアを求めるために、数千もの構成を評価します。
• デプロイメントアーティファクト：Dynamoマニフェスト、llm-d Helm/Kustomize、FPMなど、さまざまなターゲット向けの構成ファイルを生成します。
• 購入サイズ推奨：特定のリクエストレートとSLAを達成するために必要な最小ハードウェアを推奨します。