huggingface/optimum-benchmark

🏋️ A unified multi-backend utility for benchmarking Transformers, Timm, PEFT, Diffusers and Sentence-Transformers with full support of Optimum's hardware optimizations & quantization schemes.

Optimum-Benchmarkとは?

Optimum-Benchmarkは、機械学習モデルがさまざまなハードウェアおよびソフトウェア構成でどの程度パフォーマンスを発揮するかを測定するためのツールです。多くの人気オープンソースAIライブラリを手掛けるHugging Faceによって構築されました。

AIモデルのためのストップウォッチやメジャーのようなものだと考えてください。モデルの実行速度、メモリ使用量、消費エネルギー、1秒あたりに処理できるリクエスト数などを測定します。最大の特徴は、単一の統一されたインターフェースを通じて、多くの異なるモデルライブラリ、ハードウェアタイプ、最適化手法に対応している点です。

なぜ存在するのか?

READMEには、主に3つの動機が挙げられています:

  1. ハードウェア比較:ハードウェアベンダーは、同じモデルを実行した際に自社のチップが競合他社と比較してどのようなパフォーマンスを示すかを知りたいと考えています。
  2. モデル比較:ユーザーは、選択したモデルが他のモデルと比較して、レイテンシ、スループット、メモリ使用量、エネルギー消費の面でどのようなパフォーマンスを示すかを知りたいと考えています。
  3. 最適化テスト:研究者やエンジニアは、さまざまな最適化や量子化スキーム(モデルを小さくしたり高速化したりする手法)をベンチマークして、実際にどれが効果的かを確認したいと考えています。

どのように機能するのか?

ベンチマークの実行は、3つのコンポーネントによって定義されます:

  • Launcher(ランチャー) — ベンチマークプロセスの開始方法。process(単一の分離されたプロセスで実行)、torchrun(分散コンピューティングのために複数のプロセスで実行)、inline(デバッグ専用、実際のベンチマークには非推奨)などのオプションがあります。
  • Scenario(シナリオ) — 何を測定するか。inference(モデルが出力を生成する速度)または training(モデルが学習する速度)のいずれかです。
  • Backend(バックエンド) — 実行に使用するソフトウェアライブラリとハードウェアデバイス。例として、CPU上のPyTorch、CUDA上のONNXRuntime、ROCM上のvLLMなどがあります。

何を測定するのか?

推論とトレーニングの両方のシナリオで、以下を追跡できます:

  • Latency(レイテンシ) — 各操作にかかる時間
  • Throughput(スループット) — 単位時間あたりに完了する操作数
  • Memory usage(メモリ使用量) — モデルが消費するRAM/VRAMの量
  • Energy consumption(エネルギー消費量) — ハードウェアが消費する電力

また、測定前のウォームアップ実行をサポートしており、入力形状(テキストモデルのシーケンス長など)の制御や、モデルへのカスタム引数(拡散モデルがプロンプトごとに生成する画像の数など)の受け渡しも可能です。

どのバックエンドとデバイスがサポートされているか?

READMEによると、以下が完全にサポートされています(✅でマークされています):

  • PyTorch — CPUおよびCUDA (NVIDIA GPU)
  • ONNXRuntime — CPU、CUDA、ROCM (AMD GPU)、およびTensorRT実行プロバイダー
  • Py-TXI — CPUおよびGPU (Hugging FaceのTGIおよびTEI推論サーバーをラップ)
  • Neural Compressor — CPU
  • TensorRT-LLM — CUDA
  • OpenVINO — CPUおよびGPU
  • vLLM — CUDA、ROCM、およびCPU

さらに、ニュースセクションでは llama-cpp-python バインディングをベンチマークするための LlamaCpp バックエンドについても言及されています。

1つだけ、まだサポートされていないバックエンドとして、Habana Gaudi Processor (HPU) 上のPyTorchが挙げられています。

インストール方法は?

推奨される方法は、高速なPythonパッケージマネージャーである uv を使用することです:

uv add optimum-benchmark

または、従来の pip を使用します:

pip install optimum-benchmark

optimum-benchmark[openvino] や optimum-benchmark[vllm] のように、特定のバックエンド用の追加依存関係をインストールすることもできます。

ベンチマークの実行方法は?

2つの方法があります:

1. Python API — ライブラリをインポートし、ベンチマーク(ランチャー、シナリオ、バックエンドを選択)を設定して実行するPythonスクリプトを作成します。これは、自動的に分離された環境を作成する uv スクリプトと相性が良いです。

2. Hydra CLI — YAML設定ファイルを使用してコマンドラインから実行します:

optimum-benchmark --config-dir examples/ --config-name cuda_pytorch_bert

これにより、runs/ ディレクトリにいくつかの出力ファイルが生成されます:

  • benchmark_config.json — 使用された正確な設定
  • benchmark_report.json — 完全な結果(レイテンシ、メモリ、エネルギーなど)
  • benchmark_report.txt および benchmark_report.md — 人間が読める形式のレポート
  • benchmark.json — 設定とレポートの組み合わせ
  • benchmark.log — 実行のログ出力

CLIは、設定値の上書き(モデルやデバイスの変更など)や、--multirun フラグを使用した複数の設定にわたるスイープ実行もサポートしています。

現在のステータス

READMEには明示的に次のように記載されています:「Optimum-Benchmarkは開発途上であり、本番環境での使用にはまだ準備ができていません。」 活発に開発されており、CPU、CUDA、ROCM環境全体でプルリクエストごとに300以上のテストが実行されています。また、このプロジェクトはHugging FaceのLLM-Perf Leaderboardのコードベースもホストしています。

最近の注目すべき追加機能(ニュースセクションより)

  • PyPIパッケージが利用可能になりました (pip install optimum-benchmark)
  • すべてのバックエンドにおけるモデル読み込みのレイテンシ/メモリ/エネルギー追跡
  • NUMAノードを制御するための numactl サポート(きめ細かなCPUパフォーマンス制御のため)
  • 再現可能なテストのための4つの最小限のDockerイメージ(CPU、CUDA、ROCM)
  • vLLMの推論エンジンをベンチマークするためのvLLMバックエンド
  • Py-TXIをベンチマークするためのPy-TXIバックエンド
  • 分離および分散ベンチマークを実行するためのPython API

貢献方法

プロジェクトへの貢献を歓迎します。READMEでは特に、より多くのバックエンド(TensorFlow, TFLite, JAX)、最適化および量子化スキームのテスト、より多くのハードウェアサポート(HPU, Apple M-series)、および一般的なタスクのためのタスク評価器が求められています。

関連

  • プロジェクト
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch