thu-ml/TurboDiffusion

TurboDiffusion: 100–200× Acceleration for Video Diffusion Models

解決する課題

TurboDiffusionは、ビデオ拡散モデルの高コストな計算量と遅い生成速度の問題を解決します。元のビデオ品質を維持しようと試みながら、単一のRTX 5090においてエンドツーエンドの生成レイテンシを100倍から200倍に大幅に短縮します。

仕組み

このフレームワークは、主に3つの技術を組み合わせることで加速を実現します：

  • Attention Acceleration: SageAttentionとSparse-Linear Attention (SLA) を利用してアテンションメカニズムを高速化します。
  • Timestep Distillation: rCMを用いたタイムステップ蒸留を採用し、必要なサンプリングステップ数を削減します。
  • Quantization: 線形層に対して量子化されたチェックポイントを提供し、RTX 4090や5090のようなコンシューマ向けGPUでの高性能生成を可能にします。

対象者

単一のGPUでほぼ瞬時の推論速度を必要とする、ビデオ生成モデル（特にWanシリーズ）を扱う開発者や研究者向けに設計されています。

ハイライト

  • 大幅な高速化: RTX 5090において、特定のモデルの生成時間を184秒から1.9秒に短縮します。
  • 多用途なサポート: Text-to-Video (T2V) と Image-to-Video (I2V) の両方のワークフローをサポートしています。
  • 柔軟な解像度: 480pおよび720pの解像度でのビデオ生成が可能です。
  • マルチGPU互換性: さまざまなハードウェア（例：RTXシリーズ vs H100）に適応できるよう、量子化済みおよび未量子化のチェックポイントの両方を提供します。

関連

  • プロジェクト
    hao-ai-lab/FastVideo

    スパース蒸留とアテンションの最適化を通じて、ビデオ生成を加速させるために設計された、統一されたポストトレーニングおよびリアルタイム推論フレームワーク。

  • プロジェクト
    dc-ai-projects/DC-Gen

    DC‑Gen はポストトレーニングフレームワークであり、事前学習済み拡散モデルの潜在空間を圧縮し、埋め込みを整列させ、極小の LoRA モジュールを微調整することで、画像/動画品質を維持したまま最大 54 倍の高速な推論を実現します。テキストから画像、テキストから動画、画像から動画、編集をサポートしており、FLUX、Wan2.1、Qwen‑Image‑Edit、Z‑Image などのモデル向けのガイドを提供しています。

  • プロジェクト
    NVlabs/FastGen

    画像・動画生成のために、さまざまな蒸留・加速手法を用いて拡散モデルを高速化する PyTorch ベースのフレームワーク。

  • Dispatch
    Stable Diffusion XL (SDXL) の推論速度とメモリ使用量の最適化

    Hugging Faceは、Stable Diffusion XL (SDXL) のメモリ使用量を28GBから最小11.47GBまで削減し、推論レイテンシを72.2秒から約10.3秒まで短縮する方法を示す、いくつかの最適化手法を調査しています。

  • プロジェクト
    ModelTC/LightX2V

    LightX2V は、高速な画像および動画生成（T2V、I2V、T2I、I2I、T2AVなど）のためのオープンソース推論フレームワークです。MiniMax-H3、Wan、HunyuanVideo、Qwen-Imageなど多数の最先端モデルをサポートし、4ステップ蒸留LoRA、FP8/NVFP4量子化、テンソル/シーケンス並列処理、幅広いハードウェアにおける分散デプロイといった高速化技術を提供します。H100 GPU上で競合フレームワークと比較して最大3.9倍の高速推論を実現。Dockerイメージ、pipインストール、Gradio/ComfyUIフロントエンド、豊富なドキュメント、オンラインデモを提供しています。