xin1u/UltraFlash

해결하는 문제

Ultra Flash는 고해상도(1K 및 2K) 비디오를 실시간으로 생성하는 문제를 해결합니다. 기존 비디오 생성 모델은 고해상도 출력에 필요한 계산 강도로 인해 생성 속도가 느린 경우가 많았습니다. 이 프레임워크는 단일 GPU에서 1K 해상도 기준 약 30 FPS, 2K 해상도 기준 약 18 FPS의 스트리밍 비디오 생성을 가능하게 합니다.

작동 원리

이 시스템은 저해상도 스트리밍 생성기를 기반으로 하는 계단식 아키텍처를 사용합니다. 비디오는 4단계로 처리됩니다. 자기 강제 생성기가 저해상도 잠재 변수를 생성하고, 인과적 잠재 업샘플러가 해상도를 높이며, 희소 초해상도 (SR) Diffusion Transformer (DiT)가 세부 사항을 정교화하고, 마지막으로 소형 디코더가 이러한 잠재 변수를 고해상도 픽셀 출력으로 변환합니다. 이 프레임워크는 동적 캐시 관리와 블록 희소 어텐션을 통합하여 메모리 오버헤드를 최소화하면서 시간적 일관성과 속도를 유지합니다.

대상 사용자

이 프로젝트는 높은 시각적 충실도와 낮은 지연 시간 성능의 균형을 맞춰야 하는 실시간 생성 비디오 애플리케이션을 연구하는 연구원 및 개발자를 위한 것입니다. 고성능 NVIDIA 하드웨어(24GB+ VRAM)를 보유하고 효율적이고 스트리밍이 가능한 비디오 생성 파이프라인을 배포하거나 실험하려는 사용자를 위해 설계되었습니다.

주요 특징

• 실시간 성능 달성: 단일 GPU에서 1K 해상도 약 30 FPS, 2K 해상도 약 18 FPS.
• 동적 캐시 관리 (DCM)를 포함하여 품질 저하를 최소화하면서 추론 속도 최적화.
• 짧은 비디오 및 긴 비디오(최대 약 10초) 생성 지원.
• 표준 VAE 대비 잠재 변수에서 픽셀로의 변환이 더 빠른 소형 디코더를 포함한 모듈식 파이프라인 제공.