hao-ai-lab/FastVideo

FastVideo – 실시간, 포스트 트레이닝 비디오 생성 프레임워크

개요 – FastVideo는 최첨단 비디오 확산 모델을 고속으로 파인튜닝, 증류, 실행할 수 있는 오픈소스 라이브러리입니다. 포스트 트레이닝(예: 스파스 증류, 데이터 프리 DMD2)과 다양한 하드웨어(NVIDIA RTX/H100/A100, MLX를 통한 Apple Silicon, DGX Spark, Windows/Linux/macOS)에서의 실시간 추론을 지원합니다.

주요 기능

• 트레이닝 및 파인튜닝 – 오픈 비디오 DiT를 위한 전체 모델 및 LoRA 파인튜닝, 비디오/이미지/텍스트용 데이터 파이프라인, 고급 증류 방법(Video Sparse Attention, Sparse-Distillation, Self-Forcing 인과 증류). FSDP2, 시퀀스 병렬 처리, 활성화 체크포인팅으로 확장됩니다.
• 추론 가속화 – 스파스 어텐션 백엔드, 시퀀스 병렬 분산 추론, 최적의 커널(예: VSA, FlashAttention)을 자동으로 선택하는 CLI/Python API. 이 라이브러리는 단일 소비자 GPU에서 1080p 비디오를 실시간 미만으로 생성할 수 있습니다.
• 하드웨어 유연성 – CUDA 12/13용 사전 빌드 휠, Apple Silicon용 선택적 MLX 지원, DGX Spark용 ARM 호환 빌드. 동일한 코드가 Windows, Linux, macOS에서 실행됩니다.
• 실시간 앱 – Dreamverse – '분위기 지향' 비디오를 스트리밍하는 번들 웹 앱으로, 로컬, Docker, B200 서버, 또는 Modal을 통한 서버리스로 배포할 수 있습니다.

시작하기

# 깨끗한 uv 환경 생성 (Python 3.12)
uv venv --python 3.12 --seed
source .venv/bin/activate

# CUDA 12 빌드 설치 (또는 CUDA 13의 경우 cu130)
UV_TORCH_BACKEND=cu126 uv pip install fastvideo

Apple Silicon: 클론에서 uv pip install -e '.[mlx]'를 실행하고 MLX 설치 가이드를 따르세요. DGX Spark (ARM): UV_TORCH_BACKEND=cu130 uv pip install -e .로 소스에서 설치하고 별도의 FlashAttention 휠을 추가하세요.

간단한 생성 예제

import os
from fastvideo import VideoGenerator

os.environ["FASTVIDEO_ATTENTION_BACKEND"] = "VIDEO_SPARSE_ATTN"

gen = VideoGenerator.from_pretrained(
    "FastVideo/FastWan2.1-T2V-1.3B-Diffusers", num_gpus=1
)
video = gen.generate_video(
    "A curious raccoon peers through a vibrant field of yellow sunflowers",
    output_path="my_videos/",
    save_video=True,
)

python example.py로 실행하세요.

모델 및 리소스

• FastH3 (4-step, 8-step, V2) – MiniMax-H3에서 증류, RTX 5090/4090, DGX Spark, Apple Silicon에서 실행. 4.2배 더 작은 트림 버전은 8GB GPU 메모리에 맞습니다.
• Kandinsky 6 – 텍스트-투-비디오 + 동기화 오디오, 최대 4배 초해상도.
• FastWan-QAD – 5초 비디오를 1.8초에 생성 (FP8, 1.3B).
• 모든 모델은 Hugging Face에서 호스팅됩니다 (예: FastVideo/FastWan2.1-T2V-1.3B-Diffusers).

커뮤니티 및 문서

• 전체 문서 사이트, 단계별 레시피가 포함된 쿡북, 빠른 시작 가이드.
• 주간 개발자 회의, Slack, WeChat 채널을 통한 실시간 지원.
• 표준 GitHub 플로우를 통한 기여를 환영합니다. 자세한 기여 가이드와 로드맵이 제공됩니다.

중요성 – 비디오 확산은 매우 느린 것으로 알려져 있습니다. FastVideo의 스파스 어텐션 및 데이터 프리 증류 파이프라인은 노이즈 제거 시간을 50배 이상 줄여 소비자 하드웨어에서 실시간 생성을 가능하게 하고 대화형 비디오 AI 애플리케이션의 문을 엽니다.