sgl-project/genai-bench

Genai-bench is a powerful benchmark tool designed for comprehensive token-level performance evaluation of large language model (LLM) serving systems.

解決的問題

Genai-bench 提供了一種統一的方法，用於評估 LLM 服務系統的 token 級性能。它透過提供標準化的測量方式，消除了對碎片化工具的依賴，能夠在不同流量情境與並行層級下，統一衡量吞吐量、延遲與錯誤率。

運作方式

此工具透過 CLI 進行操作，允許使用者透過 API 向模型後端發起基準測試。支援文字到文字與文字到影像任務。基準測試執行完畢後，會收集原始指標與日誌，進而處理成詳細的 Excel 報告與視覺化圖表，用於效能分析。

適用對象

專為需要測量與優化模型部署系統效能的 LLM 服務基礎設施開發者與工程師設計。

主要特色

  • 即時 UI 仪表板：在基準測試執行期間，即時監控進度、日誌與指標。
  • 全面的指標：追蹤首次 token 延遲（TTFT）、端對端（E2E）延遲、每輸出 token 時間（TPOT）、吞吐量與每秒請求数（RPS）。
  • 實驗分析器：產生 Excel 報告與可自訂的圖表網格，用於比較不同實驗結果。
  • 多模態支援：支援對文字生成與影像生成 API 進行基準測試。

相關

  • 專案
    ai-dynamo/aiperf

    用於生成式 AI 模型的綜合基準測試工具，可測量各種推理解決方案和負載模式下的延遲與吞吐量。

  • 專案
    AISBench/benchmark

    一個基於 OpenCompass 的模型評估工具，為本地和服務型 AI 模型在文字和多模態任務中提供準確度與效能基準測試。

  • 專案
    MatthewCYM/VoiceBench

    VoiceBench 是一個用於評估基於大語言模型（LLM）的語音助理在推理、安全性與開放式問答等任務上的基準測試框架與資料集。

  • 專案
    aisa-group/PostTrainBench

    A benchmark that measures the ability of CLI agents to autonomously post-train pre-trained LLMs to improve their performance on specific benchmarks.

  • 專案
    vllm-project/guidellm

    An SLO-aware benchmarking and evaluation platform that simulates real-world workloads to optimize LLM inference performance, resource needs, and operational limits.