triton-inference-server/model_analyzer

Triton Model Analyzer is a CLI tool to help with better understanding of the compute and memory requirements of the Triton Inference Server models.

What it solves

它帮助用户为在 Triton Inference Server 上运行的 AI 模型找到最有效的配置。与其手动猜测设置，该工具会自动化寻找性能（延迟）与资源使用（计算和内存）之间最佳平衡的过程，针对特定硬件进行优化。

How it works

Model Analyzer 使用多种搜索模式来探索不同的配置参数——例如最大批次大小、动态批次和实例组——以观察它们对性能的影响。它提供四种搜索策略：

  • Optuna Search：使用超参数优化框架进行全面搜索。
  • Quick Search：使用启发式爬坡算法快速找到最佳设置。
  • Automatic Brute Search：彻底测试所有指定参数的组合。
  • Manual Brute Search：允许用户自行定义特定参数的扫描。

Who it’s for

适用于使用 Triton Inference Server 部署模型的机器学习工程师和 DevOps 专业人员，需要优化硬件利用率并满足特定服务质量（QoS）要求。

Highlights

  • Versatile Model Support：支持单模型、多并发模型、ensemble 模型、BLS 模型和大型语言模型（LLMs）。
  • QoS Constraints：允许用户根据特定需求（如最大延迟预算）过滤结果。
  • Detailed Reporting：生成摘要和详细报告，以可视化不同配置之间的权衡。
  • Hardware-Specific Optimization：针对使用的特定硬件量身定制配置。