vLLM-Omni H3-Image 지원: NVIDIA Vera Rubin에서의 4K 생성 성능
개요
vLLM은 MiniMax H3-Image 모델에 대한 Day-0 지원을 도입하여 NVIDIA Vera Rubin을 포함한 다양한 하드웨어에서 고성능 텍스트-이미지 변환 및 이미지 편집 워크플로우를 가능하게 했습니다. vLLM-Omni 최적화를 활용하여, 이 시스템은 4개의 GPU에서 네이티브 4K(4096×4096) 이미지 생성 시 0.87초의 중앙값 지연 시간을 달성합니다. 지연 시간 외에도, 이 구현은 시간당 6,000장 이상의 이미지를 생성할 수 있는 고처리량 구성을 지원합니다.
기술적 성능 및 최적화
H3-Image 모델은 Qwen3-VL 인코더, 33.1B 밀집 Diffusion Transformer(DiT) 및 이미지 VAE로 구성됩니다. vLLM-Omni 구현은 다음과 같은 몇 가지 핵심 기술을 통해 이 아키텍처를 최적화합니다:
- MXFP8 GEMMs: Rubin 및 Blackwell 아키텍처에서, MXFP8 정밀도는 적격 DiT 선형 계층에 사용되어 연산을 가속화하고 가중치 풋프린트를 줄입니다.
- 시퀀스 병렬 처리(SP4): 시퀀스 작업은 4개의 GPU에 분산되며, DiT 가중치는 효율성을 극대화하기 위해 복제된 상태로 유지됩니다.
- VAE 디코딩 오버랩: 디코딩은 이미지 타일을 GPU에 분산하고 CUDA Graph 리플레이와 다중 CUDA 스트림을 결합하여 최적화되었으며, 이를 통해 VAE 디코딩 지연 시간이 약 2.5배 감소했습니다.
- AdaLN 캐싱: 시스템은 입력과 가중치가 일치할 때 조건부 프로젝션을 재사용하여 6단계의 노이즈 제거 과정에서 중복 계산을 방지합니다.
하드웨어 지원 및 배포
NVIDIA Vera Rubin 외에도, vLLM-Omni는 광범위한 데이터 센터 및 소비자용 하드웨어에 대한 레시피와 지원을 제공합니다:
- NVIDIA: 지원 범위는 Hopper 및 Ampere를 포함한 여러 세대에 걸쳐 있으며, 레이어별 CPU 오프로딩을 사용하는 메모리 제한 환경에 대한 특정 최적화가 포함됩니다.
- AMD Instinct: MI325X 및 MI350X용 레시피는 Ulysses 시퀀스 병렬 처리를 활용하여 BF16 및 Flash Attention을 지원합니다.
- Intel Arc Pro: 32GB 카드를 위한 텐서 병렬 처리 구성을 포함하여 1개, 2개 및 4개 GPU 배포에 대한 문서가 제공됩니다.
- Huawei Ascend: BF16 및 eager execution을 사용하는 Atlas 800I A2, 800T A3 및 350(A5) NPU를 지원합니다.
- Moore Threads: MUSA 구현은 S5000 카드에서 VAE 그래프 디코딩 및 텐서 병렬 처리를 가능하게 합니다.
경제적 전망
MiniMax의 표준 4K API 가격인 이미지당 USD 0.06879를 기준으로, 고처리량 구성(시간당 6,115장)은 상당한 수익 잠재력을 창출합니다. 완전한 청구 가능 가동률에서, 이 시스템은 GPU당 시간당 USD 105.16의 총수익을 예상합니다. 75% 가동률에서는 이 수치가 GPU당 시간당 USD 78.87로 조정됩니다. 이러한 수치는 측정된 처리량을 기반으로 한 전망치이며 운영 비용은 고려하지 않았습니다.