vllm-project/guidellm

GuideLLM – LLM推論のSLO対応ベンチマーク

概要 – GuideLLMは、実際の本番ワークロード下での大規模言語モデルの動作を評価できるPythonベースのプラットフォームです。OpenAI互換のエンドポイント（vLLMサーバーを含む）と通信し、設定可能なトラフィックパターンを生成、詳細なレイテンシーとトークンレベルのメトリクスを記録して、デプロイメントがサービスレベル目標（SLO）を満たしているかどうかを確認できます。

使用する理由

• SLO駆動メトリクス – 最初のトークンレイテンシー、トークン間レイテンシー、エンドツーエンドのレイテンシー分布、トークンスループットを取得します。
• 現実的なトラフィック生成 – 同期、同時、固定レート、ポアソン、スイーププロファイルをサポートし、ウォームアップ/クールダウン処理も対応。
• 柔軟なデータソース – 合成テキスト、合成画像/動画、HuggingFaceデータセット、ローカルのJSON/CSV/テキストファイル、カスタムローダー。
• マルチモーダル対応 – ビジョン入力を合成してVLMサービスのベンチマークが可能。
• 標準化された出力 – ダッシュボードや回帰追跡用のJSON、CSV、HTML、プロットファイル。
• 拡張可能なCLI/API – スクリプト化やCIパイプラインへの組み込みが容易。Kubernetes/Openshift用のコンテナイメージも提供。

クイックスタート

# インストール（Python 3.10‑3.13）
pip install guidellm[recommended]

# vLLMサーバーの起動（例）
vllm serve "neuralmagic/Meta-Llama-3.1-8B-Instruct-quantized.w4a16"

# スイープベンチマーク（最大30秒）
guidellm run \
  --backend kind=openai_http,target=http://localhost:8000 \
  --profile kind=sweep \
  --constraint kind=max_duration,seconds=30 \
  --data kind=synthetic_text,prompt_tokens=256,output_tokens=128

このコマンドは進捗を表示し、benchmarks.json/benchmarks.csv（または要求に応じてHTML/プロット）を結果ディレクトリに書き出します。

典型的なワークフロー

目的	コマンド例
レート制限付き負荷テスト	--profile kind=constant,rate=10 --constraint kind=max_duration,seconds=20
データセット駆動の評価	--data kind=huggingface,source=abisee/cnn_dailymail,load_kwargs.name=3.0.0 --data‑column‑mapper kind=generative_column_mapper,column_mappings.text_column=article
チャット補完ベンチマーク	--backend kind=openai_http,target=http://localhost:8000,request_format=/v1/chat/completions --data kind=json_file,path=data.json
マルチモーダルVLMテスト	--data kind=synthetic_image,... --data kind=synthetic_text,...
シナリオ再利用	guidellm run --config chat --backend kind=openai_http,target=http://localhost:8000

インストールオプション

• PyPI – pip install guidellm[recommended]
• ソースから – pip install git+https://github.com/vllm-project/guidellm.git
• コンテナ – ghcr.io/vllm-project/guidellm:<タグ>（マルチアーキテクチャ、Docker/Podman/K8s対応）

プロジェクトの拡張 リポジトリにはDEVELOPING.md、CONTRIBUTING.md、行動規範が含まれています。開発者は文書化されたプラグインアーキテクチャに従って、新しいバックエンド、リクエスト形式、データローダーを追加できます。

ライセンスと引用

• Apache 2.0
• 研究でGuideLLMを使用する場合は、付属のBibTeXエントリで引用してください。

---

GuideLLMは、SLO対応のパフォーマンスデータを必要とするエンジニアやMLチーム向けの、実用的で本番指向のLLM推論ベンチマークスイートです。