vLLM-Omni H3-Image サポート: NVIDIA Vera Rubin における 4K 生成パフォーマンス

概要

vLLM は MiniMax H3-Image モデルの Day-0 サポートを導入し、NVIDIA Vera Rubin を含む多様なハードウェア上で高性能なテキスト・トゥ・イメージおよび画像編集ワークフローを実現しました。vLLM-Omni の最適化を活用することで、4基の GPU を使用したネイティブ 4K (4096×4096) 画像生成において、中央値 0.87 秒のレイテンシを達成しています。レイテンシだけでなく、この実装は 1 時間あたり 6,000 枚以上の画像を生成可能な高スループット構成をサポートしています。

技術的パフォーマンスと最適化

H3-Image モデルは、Qwen3-VL エンコーダー、33.1B の高密度 Diffusion Transformer (DiT)、および画像 VAE で構成されています。vLLM-Omni の実装では、いくつかの主要な技術を通じてこのアーキテクチャを最適化しています。

  • MXFP8 GEMMs: Rubin および Blackwell アーキテクチャでは、計算を加速し重みのフットプリントを削減するために、対象となる DiT 線形層に MXFP8 精度を使用しています。
  • シーケンス並列化 (SP4): シーケンス作業は 4基の GPU に分散され、効率を最大化するために DiT の重みは複製されたままとなります。
  • VAE デコーディングのオーバーラップ: 画像タイルを GPU 間で分散させ、CUDA Graph リプレイと複数の CUDA ストリームを組み合わせることでデコーディングを最適化し、VAE デコーディングのレイテンシを約 2.5 倍削減しました。
  • AdaLN キャッシング: 入力と重みが一致する場合に条件付け投影を再利用することで、6 ステップのノイズ除去プロセス全体での冗長な計算を回避しています。

ハードウェアサポートとデプロイメント

NVIDIA Vera Rubin 以外にも、vLLM-Omni は幅広いデータセンターおよびコンシューマー向けハードウェアに対するレシピとサポートを提供しています。

  • NVIDIA: Hopper や Ampere を含む複数世代にわたるサポートを提供しており、レイヤーごとの CPU オフロードを使用したメモリ制約環境向けの特定の最適化が含まれています。
  • AMD Instinct: MI325X および MI350X 向けのレシピでは、Ulysses シーケンス並列化を利用して BF16 と Flash Attention をサポートしています。
  • Intel Arc Pro: 32 GB カード向けのテンソル並列構成を含む、1基、2基、4基の GPU デプロイメントに関するドキュメントが提供されています。
  • Huawei Ascend: BF16 とイーガー実行を使用した Atlas 800I A2、800T A3、および 350 (A5) NPU のサポートを提供しています。
  • Moore Threads: MUSA 実装により、S5000 カード上での VAE グラフデコーディングとテンソル並列化が可能になります。

経済的予測

MiniMax の標準的な 4K API 価格である 1 画像あたり 0.06879 米ドルに基づくと、高スループット構成 (1 時間あたり 6,115 画像) は大きな収益の可能性をもたらします。フル稼働時のシステム予測では、GPU 1基あたり 1 時間で 105.16 米ドルの総収益が見込まれます。稼働率 75% の場合、この数値は GPU 1基あたり 1 時間で 78.87 米ドルに調整されます。これらの数値は測定されたスループットに基づく予測であり、運用コストは考慮されていません。

Sources