sgl-project/genai-bench
Genai-bench is a powerful benchmark tool designed for comprehensive token-level performance evaluation of large language model (LLM) serving systems.
解决的问题
Genai-bench 为评估 LLM 服务系统的 token 级性能提供了一种统一的方法。它通过提供标准化的测量方式，消除了对碎片化工具的依赖，能够跨不同流量场景和并发级别，统一衡量吞吐量、延迟和错误率。
工作原理
该工具通过 CLI 运行，允许用户通过 API 向模型后端发起基准测试。支持文本到文本和文本到图像任务。基准测试运行完成后，会收集原始指标和日志，随后可将其处理为详细的 Excel 报告和可视化图表，用于性能分析。
适用人群
专为需要测量和优化模型部署系统性能的 LLM 服务基础设施开发者和工程师设计。
主要亮点
- 实时 UI 仪表板：在基准测试运行期间，实时监控进度、日志和指标。
- 全面的指标：追踪首次 token 延迟（TTFT）、端到端（E2E）延迟、每输出 token 时间（TPOT）、吞吐量和每秒请求数（RPS）。
- 实验分析器：生成 Excel 报告和可自定义的图表网格，用于对比不同实验结果。
- 多模态支持：支持对文本生成和图像生成 API 进行基准测试。
相关
- 项目
- 项目
AISBench/benchmarkAISBench Benchmark 是一个用于 AI 模型的性能与精度评测工具，支持文本、多模态和智能体场景，可对接 vLLM 等服务化推理后端，内置大量数据集与评测基准。
- 项目
MatthewCYM/VoiceBenchVoiceBench 是一个用于评估基于大语言模型（LLM）的语音助手的基准套件。它提供了一个包含音频驱动问答和指令遵循任务的 Hugging Face 数据集，一个命令行工具包用于运行模型、收集语音响应并自动评分（部分使用 GPT-4o-mini）。结果发布在公开排行榜上，仓库还包含一份近期语音助手相关论文的精选列表。
- 项目
aisa-group/PostTrainBenchPostTrainBench 是一个基准测试，用于衡量自主 LLM 代理在 10 小时 H100 计算预算内微调基础语言模型的能力。它涵盖了四种 CLI 脚手架（Claude、Codex、Gemini、OpenCode）和六项不同的下游任务。该项目提供了 HTCondor 参考流水线和云 GPU 适配器，并包含详细的提示词、环境设置以及对 API 密钥和订阅制代理的支持。
- 项目
vllm-project/guidellmGuideLLM 是一个 Python 库（也可作为容器使用），针对真实工作负载对 LLM 推理进行基准测试。它驱动可配置的流量模式到 OpenAI 兼容或 vLLM 服务器，支持合成和真实的多模态数据集，记录详细的延迟/令牌指标，并输出 JSON/CSV/HTML 报告，用于容量规划和 SLO 验证。