huggingface/optimum-benchmark

🏋️ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffusers and Sentence-Transformers with full support of Optimum's hardware optimizations & quantization schemes.

什么是 Optimum-Benchmark?

Optimum-Benchmark 是一款用于测量机器学习模型在不同硬件和软件配置下性能表现的工具。它由 Hugging Face 构建,该公司也是许多流行开源 AI 库的幕后推手。

你可以把它想象成 AI 模型的秒表和卷尺——它能告诉你模型运行的速度、占用的内存、消耗的能量以及每秒能处理多少请求。其核心特性在于,它通过一个统一的接口,支持多种模型库、硬件类型和优化技术。

为什么需要它?

README 中列出了三个主要动机:

  1. 硬件比较:硬件供应商希望了解其芯片在运行相同模型时与竞争对手相比的性能表现。
  2. 模型比较:用户希望了解所选模型在延迟、吞吐量、内存使用和能耗方面与其他模型相比的表现。
  3. 优化测试:研究人员和工程师希望对不同的优化和量化方案(使模型更小或更快的技术)进行基准测试,以验证哪些方案真正有效。

它是如何工作的?

基准测试运行由三个组件定义:

  • Launcher(启动器) — 基准测试进程的启动方式。选项包括 process(在单个隔离进程中运行)、 torchrun(跨多个进程运行以进行分布式计算)和 inline(仅用于调试,不建议用于实际基准测试)。
  • Scenario(场景) — 你要测量的内容。可以是 inference(模型产生输出的速度)或 training(模型学习的速度)。
  • Backend(后端) — 运行所使用的软件库和硬件设备。例如 PyTorch on CPU、ONNXRuntime on CUDA、vLLM on ROCM 等。

它测量什么?

对于推理和训练场景,它可以跟踪:

  • Latency(延迟) — 每个操作所需的时间
  • Throughput(吞吐量) — 单位时间内完成的操作数量
  • Memory usage(内存使用) — 模型消耗的 RAM/VRAM 大小
  • Energy consumption(能耗) — 硬件消耗的功率

它还支持在测量前进行预热运行,并允许你控制输入形状(如文本模型的序列长度)以及向模型传递自定义参数(如扩散模型每个提示应生成多少图像)。

支持哪些后端和设备?

根据 README,以下后端已得到完全支持(标记为 ✅):

  • PyTorch — CPU 和 CUDA (NVIDIA GPUs)
  • ONNXRuntime — CPU、CUDA、ROCM (AMD GPUs) 和 TensorRT 执行提供程序
  • Py-TXI — CPU 和 GPU (封装了 Hugging Face 的 TGI 和 TEI 推理服务器)
  • Neural Compressor — CPU
  • TensorRT-LLM — CUDA
  • OpenVINO — CPU 和 GPU
  • vLLM — CUDA、ROCM 和 CPU

此外,新闻部分提到了一个用于基准测试 llama-cpp-python 绑定的 LlamaCpp 后端。

目前有一个后端尚未支持:PyTorch on Habana Gaudi Processor (HPU)。

如何安装?

推荐使用快速 Python 包管理器 uv 进行安装:

uv add optimum-benchmark

或者使用传统的 pip:

pip install optimum-benchmark

你还可以安装特定后端的额外依赖项,例如 optimum-benchmark[openvino] 或 optimum-benchmark[vllm]。

如何运行基准测试?

有两种方式:

1. Python API — 编写一个 Python 脚本,导入库,配置基准测试(选择启动器、场景和后端),然后运行它。这与 uv 脚本配合使用效果很好,因为它们会自动创建一个隔离环境。

2. Hydra CLI — 使用带有 YAML 配置文件的命令行:

optimum-benchmark --config-dir examples/ --config-name cuda_pytorch_bert

这会在 runs/ 目录下生成多个输出文件:

  • benchmark_config.json — 所使用的确切配置
  • benchmark_report.json — 完整结果(延迟、内存、能耗等)
  • benchmark_report.txt 和 benchmark_report.md — 人类可读的报告版本
  • benchmark.json — 配置和报告的组合
  • benchmark.log — 运行的日志输出

CLI 还支持覆盖配置值(例如更改模型或设备),并使用 --multirun 标志跨多个配置运行扫描。

当前状态

README 明确指出:“Optimum-Benchmark 是一项正在进行的工作,尚未准备好用于生产环境。” 它处于活跃开发中,每次拉取请求都会在 CPU、CUDA 和 ROCM 环境中运行超过 300 个测试。该项目还托管了 Hugging Face 的 LLM-Perf Leaderboard 的代码库。

近期新增功能(来自新闻部分)

  • 现已提供 PyPI 包 (pip install optimum-benchmark)
  • 所有后端的模型加载延迟/内存/能耗跟踪
  • numactl 支持以控制 NUMA 节点(用于细粒度的 CPU 性能控制)
  • 四个用于可重复测试的最小 Docker 镜像(CPU、CUDA、ROCM)
  • 用于基准测试 vLLM 推理引擎的 vLLM 后端
  • 用于基准测试 Py-TXI 的 Py-TXI 后端
  • 用于运行隔离和分布式基准测试的 Python API

如何贡献

项目欢迎贡献。README 特别提到希望获得:更多后端(TensorFlow, TFLite, JAX)、更多针对优化和量化方案的测试、更多硬件支持(HPU, Apple M-series)以及针对常见任务的任务评估器。

相关

  • 项目
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch