AlibabaResearch/SparkDiffusion

SparkDiffusion: Accelerating DiT video generation by 265× via joint Sparsity, Distillation, Quantization, etc.

何を解決するか

SparkDiffusionは、Diffusion Transformer (DiT) 動画生成モデルの推論を高速化するためのフレームワークであり、特にWan 2.1およびWan 2.2モデルを対象としています。密な複数ステップ生成の高い計算コストを克服し、単一GPU上で最大265倍の高速推論を実現しながら、生成品質を維持します。

仕組み

このフレームワークは、加速を実現するための3つのアプローチを採用しています。

  1. スパース低ランク注意（RoLa）： 学習および推論の両方で注意機構の複雑さを低減する効率的な注意設計です。
  2. 少数ステップ蒸留（CrossDistill）： 軌道レベルのハイブリッド蒸留技術で、高品質な動画を大幅に少ないステップ数（例：3〜4ステップ）で生成可能にします。
  3. カスタム高性能演算子： 外部依存性のない独自開発の推論演算子で、スパース注意機構の実行を最適化しています。

さらに、重み・活性化の量子化をサポートし、スパース注意のファインチューニングおよび蒸留のエンドツーエンドパイプラインを提供しています。

対象ユーザー

テキストから動画（T2V）や画像から動画（I2V）を生成する際、遅延と計算リソースを大幅に削減したい開発者や研究者向けです。

主な特徴

  • 劇的な高速化： 密なベースラインに対して200倍以上のエンドツーエンド推論加速を達成。
  • Wanモデル対応： Wan 2.1およびWan 2.2アーキテクチャと完全互換。
  • 統合パイプライン： スパース注意のファインチューニング、少数ステップ蒸留、最適化された推論用ツールを提供。
  • カスタム演算子： 外部依存なしで高性能推論を実現する独自の融合カーネルを含む。
  • プラグイン可能なレジストリ： コアコードを変更せずにカスタム注意変種を統合可能。

関連

  • プロジェクト
    TencentARC/WorldCrafter

    WorldCrafter は、単一の画像またはテキストプロンプトから、カメラ制御可能で一貫性のある動画を生成する研究グレードの動画生成モデルです。シーンの暗黙的な 3D 認識メモリを保存するため、視点が変わってもシーンは一貫性を保ちます。このリポジトリには、フルサイズの Base 模型與蒸餾後的 Fast 模型、影像轉影片和文字轉影片推論的腳本、Qwen‑VL 自動提示生成，以及開源的互動式網頁示範。設定使用 Python 3.11 搭配 PyTorch 2.10（CUDA 12.8），透過 uv 或 conda，模型權重託管在 Hugging Face 上。

  • プロジェクト
    yizhi-chengzi/video-ai-talking

    Alibaba Bailian VideoRetalkによるリップシンク、BailianまたはVolcengineのTTS、オプションのDeepSeekによるスクリプト生成、FFmpegによる最終レンダリングを用いて、静止した顔カメラ映像を完全な会話動画に変換するローカルWebアプリ。

  • プロジェクト
    vllm-project/vime

    Vimeは、Megatron‑LMトレーニングとvLLM推論を組み合わせて、大規模言語モデルの高性能な強化学習ファインチューニングを可能にするオープンソースフレームワークです。統一されたデータフローループ、柔軟なカスタム生成フック、そして多くの最新LLM（Qwen、DeepSeek、LLaMA 3）をサポートしています。

  • プロジェクト
    Carasibana/ComfyUI-H3-FaceRefine

    ComfyUI‑H3‑FaceRefine は、MiniMax H3 動画内の小さな顔を検出し、切り取り、再生成し、元の動画に再統合するカスタムノードを追加します。モデルの小さな頭部への対応不足を補い、自動および手動の顔選択ワークフロー、強固な追跡、オプションのカット検出、既存の MiniMax H3 パイプラインとの統合を提供します。