sgl-project/genai-bench
Genai-bench is a powerful benchmark tool designed for comprehensive token-level performance evaluation of large language model (LLM) serving systems.
何を解決するか
Genai-bench は、LLM サービングシステムのトークンレベルのパフォーマンスを評価するための一元化された方法を提供します。異なるトラフィックシナリオや並行処理レベルにおけるスループット、レイテンシ、エラーレートを測定するための標準化された手法を提供することで、分散したツールに依存する必要を排除します。
動作方法
このツールは、API を介してモデルバックエンドに対してベンチマークを実行できる CLI を通じて動作します。テキストからテキスト、テキストから画像の両方のタスクをサポートしています。ベンチマーク実行後、原始的なメトリクスとログが収集され、それらは詳細な Excel レポートや可視化プロットに処理され、パフォーマンス分析に利用できます。
対象ユーザー
LLM サービングインフラストラクチャの開発者やエンジニア向けに設計されており、モデルデプロイシステムのパフォーマンスを測定・最適化する必要がある人向けです。
特徴
- ライブ UI ダッシュボード: ベンチマーク実行中の進行状況、ログ、メトリクスをリアルタイムで監視可能。
- 包括的なメトリクス: Time to First Token (TTFT)、エンドツーエンド (E2E) レイテンシ、出力トークンあたりの時間 (TPOT)、スループット、1秒あたりのリクエスト数 (RPS) を追跡。
- 実験分析ツール: 比較可能な実験用の Excel レポートとカスタマイズ可能なプロットグリッドを生成。
- マルチモーダル対応: テキスト生成と画像生成 API の両方をベンチマーク可能。
関連
- プロジェクト
ai-dynamo/aiperfさまざまな推論ソリューションとモダリティを横断してレイテンシーとスループットを測定する包括的な生成AIモデル用ベンチマークツール。
- プロジェクト
AISBench/benchmarkAISBench Benchmark は、AI モデルの性能と精度を評価するためのツールで、テキスト、マルチモーダル、エージェントのシナリオをサポートし、vLLM などのサービス化推論バックエンドに接続でき、多数のデータセットと評価ベンチマークが組み込まれています。
- プロジェクト
MatthewCYM/VoiceBenchVoiceBench は、LLMベースの音声アシスタントを評価するためのベンチマークスイートです。音声駆動型 QA および指示追従タスクを備えた Hugging Face データセットを提供し、モデルを実行し、音声応答を収集して自動スコアリングする（GPT-4o-mini を使用）コマンドラインツールキットも提供します。結果は公開リーダーボードに掲載され、リポジトリには最近の音声アシスタント関連論文のリストも含まれています。
- プロジェクト
aisa-group/PostTrainBenchPostTrainBenchは、自律型LLMエージェントが10時間のH100計算予算内でベース言語モデルをどの程度微調整できるかを測定するベンチマークです。4つのCLIスキャフォールド（Claude、Codex、Gemini、OpenCode）と6つの多様なダウンストリームタスクを対象としています。HTCondorリファレンスパイプラインとクラウドGPUアダプターを提供し、詳細なプロンプト、環境設定、APIキーおよびサブスクリプションベースのエージェントの両方をサポートしています。
- プロジェクト
vllm-project/guidellmGuideLLMは、実際のワークロードに対してLLM推論をベンチマークするPythonライブラリ（コンテナとしても利用可能）です。OpenAI互換またはvLLMサーバーに対して設定可能なトラフィックパターンを生成し、合成および実世界のマルチモーダルデータセットをサポートし、詳細なレイテンシーとトークンメトリクスを記録し、キャパシティプランニングとSLO検証のためのJSON/CSV/HTMLレポートを出力します。