hao-ai-lab/FastVideo

解決的問題

FastVideo 設計用於透過提供一個統一的框架，加速影片生成，適用於訓練後與即時推論。它解決了高解析度影片擴散模型通常伴隨的高計算成本與緩慢生成速度的問題。

如何運作

該框架採用多種優化技術以降低延遲並提高吞吐量：

• 訓練後優化與蒸餾： 支援影片 DiTs 的完整與 LoRA 微調，以及分佈匹配蒸餾（DMD2）和稀疏蒸餾，以實現顯著的去噪加速（超過 50 倍）。
• 注意力優化： 實作影片稀疏注意力（VSA）與滑動區塊注意力，以降低注意力機制的複雜度。
• 推論加速： 使用序列平行處理進行分散式推論，並支援多個高性能注意力後端。
• 硬體相容性： 系統針對多種硬體進行優化，包括 NVIDIA GPU（H100、A100、4090）與 Apple Silicon（透過 MLX）。

適用對象

適用於開發影片生成模型的 AI 研究人員與開發者，以及希望部署即時影片生成與編輯應用程式（例如內建的 Dreamverse 平台）的人。

特色

• 即時功能： 內建 Dreamverse，支援「氣氛引導」與即時串流影片。
• 極速加速： 稀疏蒸餾技術可達超過 50 倍的去噪加速。
• 廣泛硬體支援： 原生支援 Linux、Windows 與 macOS（Apple Silicon）。
• 完整的工具鏈： 提供從資料預處理、訓練/微調到優化推論的完整流程。

"FastVideo 讓我們能以極快的速度生成高品質影片，同時保持低資源消耗。" — @fastvideo_dev