NVlabs/FastGen

What it solves

FastGen은 확산 모델의 생성 과정을 가속화하도록 설계되었습니다. 다양한 가속 및 증류 기법을 적용할 수 있는 통합 프레임워크를 제공하여, 생성 모델이 고품질 출력을 더 빠르게 생성하도록 돕고, 10B+ 파라미터 규모의 대규모 모델 학습을 지원합니다.

How it works

이 프레임워크는 네트워크와 데이터에 구애받지 않으며, 사용자가 자체 아키텍처와 데이터셋을 쉽게 통합할 수 있습니다. 다음과 같은 다양한 증류 및 학습 방법을 구현합니다.

• Consistency Models (CM, sCM, TCM, MeanFlow)
• Distribution Matching (DMD2, f-Distill, LADD, CausVid, Self-Forcing)
• Fine‑Tuning (SFT, CausalSFT)
• Knowledge Distillation (KD, CausalKD)

PyTorch 기반이며, DDP와 FSDP2를 통한 분산 학습을 지원해 거대한 모델을 샤딩할 수 있습니다.

Who it’s for

생성 AI에 종사하는 AI 연구자 및 개발자, 특히 확산 기반 이미지·비디오 생성(T2I, I2V, V2V)을 가속화하고자 하는 분들을 위한 도구입니다.

Highlights

• Broad Modality Support: 텍스트‑투‑이미지, 이미지‑투‑비디오, 비디오‑투‑비디오 작업을 모두 지원합니다.
• Extensive Method Library: 다양한 증류·가속 알고리즘을 포괄적으로 제공합니다.
• Large‑Scale Capability: FSDP2를 사용해 100억 파라미터 이상의 모델 학습을 지원합니다.
• Flexible Architecture: 특정 신경망이나 데이터셋에 구애받지 않으며, SDXL, Flux, CogVideoX와 같은 모델을 기본 지원합니다.