hao-ai-lab/FastVideo

A unified inference and post-training framework for accelerated video generation.

무엇을 해결하는가

FastVideo는 사후 학습(post-training)과 실시간 추론(real-time inference)을 모두 위한 통합 프레임워크를 제공하여 비디오 생성을 가속화하도록 설계되었습니다. 이는 고해상도 비디오 확산 모델(video diffusion models)과 일반적으로 관련된 높은 계산 비용과 느린 생성 속도 문제를 해결합니다.

작동 방식

이 프레임워크는 지연 시간을 줄이고 처리량을 높이기 위해 여러 최적화 기술을 사용합니다:

사후 학습 및 증류(Post-Training & Distillation): 비디오 DiTs를 위한 전체 및 LoRA 미세 조정(finetuning)을 지원하며, Distribution Matching Distillation (DMD2) 및 희소 증류(sparse distillation)를 통해 상당한 디노이징 속도 향상(50배 이상)을 달성합니다.
어텐션 최적화(Attention Optimizations): Video Sparse Attention (VSA) 및 Sliding Tile Attention을 구현하여 어텐션 메커니즘의 복잡성을 줄입니다.
추론 가속화(Inference Acceleration): 분산 추론을 위한 시퀀스 병렬성(sequence parallelism)을 활용하며 여러 고성능 어텐션 백엔드를 지원합니다.
하드웨어 호환성(Hardware Compatibility): NVIDIA GPU (H100, A100, 4090) 및 Apple Silicon (MLX를 통해)을 포함한 광범위한 하드웨어에 최적화되어 있습니다.

대상 사용자

비디오 생성 모델을 구축하는 AI 연구자 및 개발자, 그리고 실시간 비디오 생성 및 편집 애플리케이션(포함된 Dreamverse 플랫폼과 같은)을 배포하려는 사용자들을 대상으로 합니다.

주요 특징

실시간 기능(Real-time Capabilities): "vibe directing" 및 실시간 비디오 스트리밍을 위한 Dreamverse를 포함합니다.
극한의 속도 향상(Extreme Speedups): 희소 증류(sparse distillation) 기술을 통해 50배 이상의 디노이징 속도 향상을 달성할 수 있습니다.
광범위한 하드웨어 지원(Broad Hardware Support): Linux, Windows, macOS (Apple Silicon)를 기본적으로 지원합니다.
포괄적인 도구 세트(Comprehensive Tooling): 데이터 전처리 및 학습/미세 조정부터 최적화된 추론까지 전체 파이프라인을 제공합니다.