hao-ai-lab/FastVideo

FastVideo – リアルタイム、ポストトレーニング動画生成フレームワーク

概要 – FastVideo は、最先端の動画拡散モデルを高速でファインチューニング、蒸留、実行できるオープンソースライブラリです。ポストトレーニング（スパース蒸留、データフリーDMD2など）と、幅広いハードウェア（NVIDIA RTX/H100/A100、MLX経由のApple Silicon、DGX Spark、Windows/Linux/macOS）でのリアルタイム推論をサポートします。

主な機能

• トレーニングとファインチューニング – オープン動画DiTのフルモデルおよびLoRAファインチューニング、動画/画像/テキスト用のデータパイプライン、高度な蒸留手法（Video Sparse Attention、Sparse-Distillation、Self-Forcing因果蒸留）。FSDP2、シーケンス並列処理、アクティベーションチェックポイントによりスケーリングします。
• 推論高速化 – スパースアテンションバックエンド、シーケンス並列分散推論、最適なカーネル（VSA、FlashAttentionなど）を自動選択するCLI/Python API。このライブラリは、単一のコンシューマーGPUで1080p動画をリアルタイム未満で生成できます。
• ハードウェアの柔軟性 – CUDA 12/13用のプリビルドホイール、Apple Silicon用のオプションのMLXサポート、DGX Spark用のARM互換ビルド。同じコードがWindows、Linux、macOSで動作します。
• リアルタイムアプリ – Dreamverse – 「雰囲気指向」の動画をストリーミングするバンドルWebアプリで、ローカル、Docker経由、B200サーバー上、またはModalでのサーバーレスでデプロイ可能です。

はじめ方

# クリーンなuv環境を作成 (Python 3.12)
uv venv --python 3.12 --seed
source .venv/bin/activate

# CUDA 12ビルドをインストール (またはCUDA 13の場合はcu130)
UV_TORCH_BACKEND=cu126 uv pip install fastvideo

Apple Silicon: クローンから uv pip install -e '.[mlx]' を実行し、MLXインストールガイドに従ってください。 DGX Spark (ARM): UV_TORCH_BACKEND=cu130 uv pip install -e . でソースからインストールし、別のFlashAttentionホイールを追加します。

簡単な生成例

import os
from fastvideo import VideoGenerator

os.environ["FASTVIDEO_ATTENTION_BACKEND"] = "VIDEO_SPARSE_ATTN"

gen = VideoGenerator.from_pretrained(
    "FastVideo/FastWan2.1-T2V-1.3B-Diffusers", num_gpus=1
)
video = gen.generate_video(
    "A curious raccoon peers through a vibrant field of yellow sunflowers",
    output_path="my_videos/",
    save_video=True,
)

python example.py で実行します。

モデルとリソース

• FastH3 (4ステップ、8ステップ、V2) – MiniMax-H3から蒸留、RTX 5090/4090、DGX Spark、Apple Siliconで動作。トリミングされた4.2倍小さいバージョンは8GB GPUメモリに収まります。
• Kandinsky 6 – テキストから動画 + 同期オーディオ、最大4倍の超解像。
• FastWan-QAD – 5秒動画を1.8秒で生成 (FP8、1.3B)。
• すべてのモデルはHugging Faceでホストされています (例: FastVideo/FastWan2.1-T2V-1.3B-Diffusers)。

コミュニティとドキュメント

• 完全なドキュメントサイト、ステップバイステップのレシピを含むクックブック、クイックスタートガイド。
• 毎週の開発者会議、Slack、WeChatチャンネルでリアルタイムのサポート。
• 標準のGitHubフローによる貢献を歓迎します。詳細な貢献ガイドとロードマップが提供されています。

なぜ重要か – 動画拡散は非常に遅いことで知られています。FastVideoのスパースアテンションとデータフリー蒸留パイプラインにより、ノイズ除去時間が50倍以上短縮され、コンシューマーハードウェアでのリアルタイム生成が可能になり、インタラクティブな動画AIアプリケーションへの道が開かれます。