thu-ml/Causal-Forcing

何を解決するか

Causal Forcing および Causal Forcing++ は、高品質でリアルタイムのインタラクティブ動画を生成するという課題に対処します。従来の自己回帰型（AR）拡散モデルに比べ、視覚品質と運動ダイナミクスを向上させつつ、推論効率と学習予算を維持しています。

仕組み

このプロジェクトは、非対称な分布マッチング蒸留（DMD）の理論的に正しい初期化を実現するためのマルチステージ学習パイプラインを採用しています。

1. ステージ1：AR拡散学習：ベースとなる自己回帰型拡散モデルを構築します。
2. ステージ2：初期化：Causal ODE（Causal Forcing）または Causal Consistency Distillation（Causal Forcing++）を使用します。後者は、時間のかかるODEデータの整備を不要にし、真実データのみを使用します。
3. ステージ3：非対称DMD：最終ステージであり、生成に使用される少数ステップモデルを生成します。

チャンク単位とフレーム単位の両方のモデルをサポートしており、フレーム単位のアプローチは、テキストから動画（T2V）と画像から動画（I2V）の生成をネイティブに統合しています。

対象ユーザー

高品質な運動表現と低レイテンシ推論を必要とする、動画生成、ワールドモデル、リアルタイムインタラクティブ動画システムに関わる研究者および開発者。

特徴

• 極めて効率的：極めて低レイテンシを実現する1ステップおよび2ステップのフレーム単位モデルを提供。
• 統一された生成：フレーム単位モデルはT2VとI2Vの両方をネイティブにサポート。
• スケーラビリティ：Rolling Forcingなどの拡張と互換性があり、数分間の長時間動画生成が可能。
• 産業界での採用：DreamX-World 1.0やZing-0.5など、複数のSOTA動画ワールドモデルの基盤として使用されています。