sgl-project/genai-bench

何を解決するか

Genai-bench は、LLM サービングシステムのトークンレベルのパフォーマンスを評価するための一元化された方法を提供します。異なるトラフィックシナリオや並行処理レベルにおけるスループット、レイテンシ、エラーレートを測定するための標準化された手法を提供することで、分散したツールに依存する必要を排除します。

動作方法

このツールは、API を介してモデルバックエンドに対してベンチマークを実行できる CLI を通じて動作します。テキストからテキスト、テキストから画像の両方のタスクをサポートしています。ベンチマーク実行後、原始的なメトリクスとログが収集され、それらは詳細な Excel レポートや可視化プロットに処理され、パフォーマンス分析に利用できます。

対象ユーザー

LLM サービングインフラストラクチャの開発者やエンジニア向けに設計されており、モデルデプロイシステムのパフォーマンスを測定・最適化する必要がある人向けです。

特徴

• ライブ UI ダッシュボード: ベンチマーク実行中の進行状況、ログ、メトリクスをリアルタイムで監視可能。
• 包括的なメトリクス: Time to First Token (TTFT)、エンドツーエンド (E2E) レイテンシ、出力トークンあたりの時間 (TPOT)、スループット、1秒あたりのリクエスト数 (RPS) を追跡。
• 実験分析ツール: 比較可能な実験用の Excel レポートとカスタマイズ可能なプロットグリッドを生成。
• マルチモーダル対応: テキスト生成と画像生成 API の両方をベンチマーク可能。