vLLM-Omni H3-Image 支持:NVIDIA Vera Rubin 上的 4K 生成性能

概述

vLLM 现已推出对 MiniMax H3-Image 模型的 Day-0 支持,可在包括 NVIDIA Vera Rubin 在内的多种硬件上实现高性能的文生图和图像编辑工作流。通过利用 vLLM-Omni 优化,该系统在四块 GPU 上实现了原生 4K (4096×4096) 图像生成的 0.87 秒中位延迟。除了延迟表现外,该实现还支持每小时生成超过 6,000 张图像的高吞吐量配置。

技术性能与优化

H3-Image 模型由 Qwen3-VL 编码器、33.1B 稠密扩散 Transformer (DiT) 和图像 VAE 组成。vLLM-Omni 的实现通过以下几种关键技术优化了该架构:

  • MXFP8 GEMMs: 在 Rubin 和 Blackwell 架构上,针对符合条件的 DiT 线性层使用 MXFP8 精度,以加速计算并减少权重占用。
  • 序列并行 (SP4): 序列工作分布在四块 GPU 上,同时 DiT 权重保持复制以最大化效率。
  • VAE 解码重叠: 通过将图像分块分布到各 GPU,并结合 CUDA Graph 重放与多个 CUDA 流,优化了解码过程,使 VAE 解码延迟降低了约 2.5 倍。
  • AdaLN 缓存: 系统在输入和权重匹配时重用条件投影,避免了在六个去噪步骤中进行冗余计算。

硬件支持与部署

除了 NVIDIA Vera Rubin,vLLM-Omni 还为广泛的数据中心和消费级硬件提供了方案和支持:

  • NVIDIA: 支持跨越多个代际,包括 Hopper 和 Ampere,并针对内存受限环境提供了使用逐层 CPU 卸载的特定优化。
  • AMD Instinct: 针对 MI325X 和 MI350X 的方案支持 BF16 和 Flash Attention,并利用了 Ulysses 序列并行。
  • Intel Arc Pro: 提供了针对单卡、双卡和四卡部署的文档,包括针对 32 GB 显卡的张量并行配置。
  • Huawei Ascend: 支持使用 BF16 和即时执行 (eager execution) 的 Atlas 800I A2、800T A3 和 350 (A5) NPU。
  • Moore Threads: MUSA 实现支持在 S5000 显卡上进行 VAE 图解码和张量并行。

经济预测

基于 MiniMax 标准的 4K API 定价(每张图像 0.06879 美元),高吞吐量配置(每小时 6,115 张图像)具有显著的收入潜力。在完全计费利用率下,该系统预计每 GPU/小时可产生 105.16 美元的总收入。在 75% 的利用率下,该数字调整为每 GPU/小时 78.87 美元。这些数字是基于实测吞吐量的预测,并未计入运营成本。

Sources