ai-dynamo/aiperf

解决的问题

AIPerf 是一款专为测量生成式 AI 模型性能而设计的基准测试工具。它帮助开发者和运维人员确定所选推理解决方案如何处理各种工作负载，提供延迟和吞吐量等关键指标，确保模型在部署前满足性能要求。

工作原理

该工具采用可扩展的多进程架构（10 个服务通过 ZMQ 通信），模拟用户流量对推理端点的访问。支持多种负载控制模式——包括并发数、请求速率和确定性 trace 回放——并可与 MLflow、OpenTelemetry、Weights & Biases 等遥测工具集成，实现实时监控。通过插件系统支持对端点、数据集和指标的扩展。

适用人群

专为需要在不同推理引擎（如 vLLM、SGLang 或 TensorRT-LLM）和托管环境（包括 Kubernetes）中严格测试 LLM、视觉、音频和视频模型性能的 AI 工程师、ML Ops 专业人员和研究人员设计。

主要亮点

• 全面的指标：跟踪首次令牌时间（TTFT）、令牌间延迟（ITL）和请求吞吐量。
• 多样化的负载支持：支持公开数据集（ShareGPT）、自定义提示词和生产 trace 回放，实现真实流量模拟。
• 广泛的模态支持：支持文本、图像生成、嵌入、音频和视频模型的基准测试。
• 高级负载控制：具备自适应扩展以发现 SLA 边界、渐进式上升和预热阶段，消除冷启动影响。
• 云原生设计：提供专用的 Kubernetes 支持，包含 Operator 和 Helm Chart，支持集群规模的基准测试。