Optimum-NVIDIA リリースノート

Hugging Face は Optimum-NVIDIA を導入しました。この推論ライブラリは、NVIDIA ハードウェア上で大規模言語モデル（LLM）の推論を劇的に高速化するよう設計されています。NVIDIA TensorRT-LLM ソフトウェアを統合し、float8（FP8）フォーマットをサポートすることで、最小限のコード変更でスループットを最大 28 倍、1,200 トークン/秒を実現できます。

技術的基盤: FP8 と TensorRT-LLM

Optimum-NVIDIA は float8 フォーマットを活用する初の Hugging Face 推論ライブラリであり、このフォーマットは NVIDIA Ada Lovelace および Hopper アーキテクチャでサポートされています。このフォーマットと NVIDIA TensorRT-LLM の高度なコンパイル機能を組み合わせることで、計算オーバーヘッドを大幅に削減し、推論速度を向上させます。

ユーザーは単一のフラグ（use_fp8=True）で FP8 量子化を有効にできます。これにより、精度を犠牲にすることなく、単一 GPU 上でより大きなモデルを高速にデプロイできます。ライブラリはデフォルトで事前定義されたキャリブレーション戦略を使用しますが、ユーザーはカスタムキャリブレーションデータセットやトークナイゼーションを提供して、特定のユースケースに合わせた量子化を最適化できます。

パフォーマンスベンチマーク

パフォーマンスは主に 2 つの指標で測定されます: First Token Latency と Throughput（スループット）。

最初のトークン遅延

First Token Latency（最初のトークンまでの時間／プリフィル遅延）は、モデルの応答性を決定します。Optimum-NVIDIA は、標準の Hugging Face transformers と比較して最大 3.3 倍高速な最初のトークン遅延を提供します。

スループット

スループットはトークン生成の速度、特にバッチ生成時の速度を測定します。エンドツーエンド遅延を総シーケンス長（すべてのバッチの入力トークンと出力トークンの合計）で割って算出され、Optimum-NVIDIA は標準の transformers と比較して最大 28 倍のスループット向上を実現します。

NVIDIA H200 Tensor Core GPU に対する初期評価では、NVIDIA H100 Tensor Core GPU と比較して LLaMA モデルのスループットが最大でさらに 2 倍向上することが示されています。

実装と API

Optimum-NVIDIA は Hugging Face エコシステムとのドロップイン互換性を念頭に設計されています。ユーザーは、標準の transformers ライブラリから optimum-nvidia に、コードの 1 行を変更するだけで移行できます。

  • Pipeline API: ユーザーは from transformers.pipelines import pipeline を from optimum.nvidia.pipelines import pipeline に置き換え、use_fp8=True を設定してアクセラレーションを有効にできます。
  • Model API: サンプリングパラメータを細かく制御したい場合、ユーザーは from transformers import AutoModelForCausalLM を from optimum.nvidia import AutoModelForCausalLM に置き換えることができます。

モデルサポートとロードマップ

現在、Optimum-NVIDIA は LLaMAForCausalLM アーキテクチャとタスクに対して最高性能を提供します。つまり、ファインチューニング済みバージョンを含むすべての LLaMA 系モデルがすぐに使用可能です。

ライブラリの今後のアップデートには以下が含まれます:

  • 他のテキスト生成モデルアーキテクチャやタスクへのサポート拡大。
  • プロンプトストリーミング中のスループット向上のための In-Flight Batching の統合。
  • INT4 量子化のサポートにより、単一 GPU でさらに大規模なモデルを実行可能にする。

Sources