NVIDIA/flashdreams

FlashDreams – 비디오 및 세계 모델을 위한 고성능 실시간 추론

개요 – FlashDreams는 대규모 자기회귀 비디오 생성 및 세계 모델 네트워크를 대화형 속도로 실행할 수 있는 오픈 소스 라이브러리 (Apache-2.0) 입니다. 이 라이브러리는 원래 NVIDIA의 OmniDreams 데모를 구동하는 런타임으로 시작되었으나, 현재는 게임, 자율주행 시뮬레이션, 로봇 공학 또는 가상 환경에서 사용되는 모든 "실시간" 생성 모델을 위한 플랫폼으로 일반화되었습니다.

주요 기능

• 실시간 서빙 – 최적화된 GPU 커널, 멀티 GPU 스케줄링 및 저지연 파이프라인을 통해 모델이 비디오 프레임이나 세계 상태 업데이트를 화면 표시 속도보다 빠르게 생성할 수 있습니다.
• 모델 카탈로그 – NVIDIA가 출시한 다양한 모델(Self-Forcing, OmniDreams, LingBot-World, Waypoint 1.5, Wan2.1, Causal-Forcing, FlashVSR, Cosmos-Predict2.5 등)에 대한 퍼스트 파티 통합을 제공합니다. 각 통합에는 즉시 실행 가능한 러너, 벤치마크 수치 및 멀티 GPU 실행 스크립트가 포함되어 있습니다.
• 유연한 배포 – pip를 통해 설치하거나, 올바른 CUDA-13(또는 선택적 CUDA-12) PyTorch 스택을 가져오는 uv 기반 워크플로우를 사용할 수 있습니다. NVIDIA Container Toolkit이 포함된 Docker 이미지도 지원됩니다.
• 확장 가능한 아키텍처 – 저장소에는 ARCHITECTURE.md, 구성 시스템 및 "새로운 통합" 가이드가 제공되어 개발자가 자신의 자기회귀 비디오 또는 세계 모델 코드를 플러그인할 수 있습니다.
• 대화형 데모 – 사용자가 키보드/마우스 또는 WebRTC를 통해 세계 모델을 제어할 수 있는 주행 데모 (OmniDreams)가 포함되어 있어 폐루프 생성을 시연합니다.

일반적인 워크플로우

1. 라이브러리를 설치합니다 (uv sync --extra runners 또는 pip install flashdreams).
2. Hugging Face에서 모델 체크포인트를 가져옵니다 (HF 토큰 필요).
3. 러너를 실행합니다 (예: flashdreams-run-v2 t2v-self-forcing-wan2.1-t2v-1.3b … --prompt "A cat surfing.").
4. 러너는 생성된 프레임을 비디오 파일이나 대화형 창으로 스트리밍합니다.

하드웨어 요구 사항 – ≥ 80 GB VRAM을 탑재한 NVIDIA GPU용으로 설계되었습니다 (H100 80 GB가 기준). 소비자용 GPU는 일반적으로 메모리가 부족하며, README에 모델별 VRAM 요구 사항이 나열되어 있습니다.

대상 사용자 – 고처리량 비디오 생성을 구축하거나 평가하는 연구원, 세계 모델 기반 시뮬레이션을 위한 프로덕션급 추론 서버가 필요한 엔지니어, 그리고 NVIDIA의 최신 생성 비디오 모델을 실시간으로 간편하게 실행하려는 개발자.

추가 정보 – 전체 문서는 https://nvidia.github.io/flashdreams에서 확인할 수 있으며, 모델별 페이지와 커뮤니티 지원을 위한 NVIDIA Omniverse Discord 채널 #flashdreams도 이용 가능합니다.