hao-ai-lab/FastVideo

FastVideo – 实时、后训练视频生成框架

简介 – FastVideo 是一个开源库，可让您高速微调、蒸馏和运行最先进的视频扩散模型。它支持后训练（例如，稀疏蒸馏、无数据 DMD2）以及各种硬件（NVIDIA RTX/H100/A100、通过 MLX 的 Apple Silicon、DGX Spark、Windows/Linux/macOS）上的实时推理。

主要功能

• 训练与微调 – 开放视频 DiT 的全模型和 LoRA 微调、视频/图像/文本数据管道、以及高级蒸馏方法（Video Sparse Attention、Sparse-Distillation、Self-Forcing 因果蒸馏）。通过 FSDP2、序列并行和激活检查点进行扩展。
• 推理加速 – 稀疏注意力后端、序列并行分布式推理、以及自动选择最佳内核（例如 VSA、FlashAttention）的 CLI/Python API。该库可以在单个消费级 GPU 上以低于实时速度生成 1080p 视频。
• 硬件灵活性 – 为 CUDA 12/13 预构建的 wheel、为 Apple Silicon 提供的可选 MLX 支持、以及为 DGX Spark 提供的 ARM 兼容构建。相同的代码可在 Windows、Linux 和 macOS 上运行。
• 实时应用 – Dreamverse – 一个捆绑的 Web 应用，可流式传输“氛围导向”视频，可在本地、通过 Docker、在 B200 服务器上或使用 Modal 以无服务器方式部署。

如何开始

# 创建干净的 uv 环境 (Python 3.12)
uv venv --python 3.12 --seed
source .venv/bin/activate

# 安装 CUDA 12 版本 (或 CUDA 13 使用 cu130)
UV_TORCH_BACKEND=cu126 uv pip install fastvideo

Apple Silicon：从克隆中运行 uv pip install -e '.[mlx]' 并遵循 MLX 安装指南。 DGX Spark (ARM)：使用 UV_TORCH_BACKEND=cu130 uv pip install -e . 从源代码安装，并添加单独的 FlashAttention wheel。

简单生成示例

import os
from fastvideo import VideoGenerator

os.environ["FASTVIDEO_ATTENTION_BACKEND"] = "VIDEO_SPARSE_ATTN"

gen = VideoGenerator.from_pretrained(
    "FastVideo/FastWan2.1-T2V-1.3B-Diffusers", num_gpus=1
)
video = gen.generate_video(
    "A curious raccoon peers through a vibrant field of yellow sunflowers",
    output_path="my_videos/",
    save_video=True,
)

使用 python example.py 运行。

模型与资源

• FastH3 (4 步、8 步、V2) – 从 MiniMax-H3 蒸馏，可在 RTX 5090/4090、DGX Spark 和 Apple Silicon 上运行。修剪后体积缩小 4.2 倍的版本可容纳在 8 GB GPU 内存中。
• Kandinsky 6 – 文本到视频 + 同步音频，最高 4 倍超分辨率。
• FastWan-QAD – 1.8 秒生成 5 秒视频 (FP8, 1.3B)。
• 所有模型均托管在 Hugging Face 上（例如，FastVideo/FastWan2.1-T2V-1.3B-Diffusers）。

社区与文档

• 完整的文档网站、包含分步食谱的烹饪书以及快速入门指南。
• 每周开发者会议、Slack 和微信频道提供实时帮助。
• 欢迎通过标准 GitHub 流程贡献；提供了详细的贡献指南和路线图。

重要性 – 视频扩散以速度慢而著称。FastVideo 的稀疏注意力和无数据蒸馏管道将去噪时间缩短了 50 倍以上，使消费级硬件上的实时生成成为可能，并为交互式视频 AI 应用打开了大门。