hao-ai-lab/FastVideo

它解决了什么问题

FastVideo 旨在通过提供一个统一的框架来加速视频生成，该框架适用于训练后优化和实时推理。它解决了高分辨率视频扩散模型通常面临的高计算成本和生成速度慢的问题。

它如何工作

该框架采用多种优化技术来降低延迟并提高吞吐量：

• 训练后优化与蒸馏： 支持视频 DiTs 的完整微调和 LoRA 微调，以及分布匹配蒸馏（DMD2）和稀疏蒸馏，以实现显著的去噪加速（超过 50 倍）。
• 注意力机制优化： 实现了视频稀疏注意力（VSA）和滑动块注意力，以降低注意力机制的复杂度。
• 推理加速： 利用序列并行进行分布式推理，并支持多种高性能注意力后端。
• 硬件兼容性： 系统针对多种硬件进行了优化，包括 NVIDIA GPU（H100、A100、4090）和 Apple Silicon（通过 MLX）。

适用于谁

适用于构建视频生成模型的 AI 研究人员和开发者，以及希望部署实时视频生成和编辑应用（如附带的 Dreamverse 平台）的用户。

主要亮点

• 实时能力： 包含 Dreamverse，支持 "vibe directing" 和实时流式视频。
• 极致加速： 稀疏蒸馏技术可实现超过 50 倍的去噪加速。
• 广泛的硬件支持： 原生支持 Linux、Windows 和 macOS（Apple Silicon）。
• 全面的工具链： 提供从数据预处理、训练/微调到优化推理的完整流程。

"FastVideo 通过稀疏蒸馏和注意力优化，为视频生成提供了前所未有的速度和效率。" — @fastvideo_dev