NVIDIA/flashdreams

해결하는 문제

FlashDreams는 인터랙티브한 자기회귀형 동영상 및 월드 모델을 위한 고성능 추론 및 서빙 라이브러리입니다. 자율주행차 시뮬레이션, 로봇공학, 게임, 가상 환경과 같은 복잡한 응용 프로그램에서 저지연, 고처리량의 동영상 합성 요구 사항을 충족하기 위해 실시간 생성이 필요한 문제를 해결합니다.

작동 방식

다양한 자기회귀형 모델을 지원하는 최적화된 런타임 플랫폼으로, 로컬 윈도우 또는 WebRTC를 활용한 인터랙티브 데모와 같은 다양한 모드로 모델을 시작할 수 있는 통합 시스템을 제공합니다. Wan2.1, OmniDreams, Cosmos-Predict2.5 등의 여러 동영상 및 월드 모델 패밀리와의 1차 파트너십 통합도 포함되어 있습니다.

대상 사용자

이 도구는 고성능 하드웨어(예: H100과 같은 NVIDIA GPU 80GB VRAM 이상)를 보유한 개발자 및 연구자들을 위한 실시간 월드 모델 응용 프로그램 개발에 특화되어 있습니다.

주요 특징

• 다양한 모델 지원: T2V(텍스트 → 동영상), I2V(이미지 → 동영상), HDMap 기반 주행 모델 등 여러 모델 패밀리 통합
• 인터랙티브 기능: WebRTC 또는 로컬 윈도우를 통해 실시간 주행 데모 지원
• 고성능 스택: CUDA 13.x 및 PyTorch 2.11.0+에 최적화됨
• 확장성: 새로운 방법 추가 및 새로운 모델을 파이프라인에 통합할 수 있는 개발자 가이드 제공