NVlabs/FastGen

NVIDIA FastGen: Fast Generation from Diffusion Models

What it solves

FastGen 旨在加速擴散模型的生成過程。它提供了一個統一的框架，可應用多種加速與蒸餾技術，使生成模型能更快產生高品質輸出，並支援 10B+ 參數規模的大規模模型訓練。

How it works

此框架對網路與資料保持中立，使用者可以自行整合自己的架構與資料集。實作了廣泛的蒸餾與訓練方法，包括一致性模型（CM、sCM、TCM、MeanFlow）、分佈匹配（DMD2、f-Distill、LADD、CausVid、Self-Forcing）、微調（SFT、CausalSFT）以及知識蒸餾（KD、CausalKD）。

它基於 PyTorch，並透過 DDP 與 FSDP2 支援分散式訓練，以模型切分方式處理超大型模型。

Who it’s for

面向從事生成式 AI 的研究者與開發者，特別是希望加速基於擴散的圖像與影片生成（T2I、I2V、V2V）的使用者。

Highlights

  • Broad Modality Support: 支援文字到圖像、圖像到影片、影片到影片等任務。
  • Extensive Method Library: 包含完整的蒸餾與加速演算法庫。
  • Large‑Scale Capability: 使用 FSDP2 支援訓練 100 億參數以上的模型。
  • Flexible Architecture: 對特定神經網路或資料集不設限制，內建支援 SDXL、Flux、CogVideoX 等模型。