shengshu-ai/minWM

解決する課題

minWMは、研究者や開発者が標準的なテキストから動画を生成する (T2V) 基盤モデルから、リアルタイムでアクション条件付きの動画世界モデルへと移行することを支援するために設計されたフルスタックフレームワークです。データ準備からトレーニング、推論に至るまでの完全なオープンソースのパスを提供することで、ユーザーが複雑なパイプラインをリバースエンジニアリングする必要をなくします。

仕組み

このフレームワークは、双方向拡散モデルをリアルタイム性能のために4ステップの自己回帰 (AR) 学生モデルに変換する4段階のパイプラインを実装しています：

1. データ準備: 生動画とカメラ軌道 (ポーズ) をトレーニング可能な潜在変数に処理します。
2. 双方向 SFT: 基盤モデルの初期の教師あり微調整を行います。
3. 蒸留: Teacher Forcing AR拡散、因果ODE/CD蒸留、および自己ロールアウトを伴う非対称DMDを含む多段階プロセスです。
4. 推論: 4ステップのDMD推論を使用し、ポーズ文字列 (例: "a4,w8") やJSONファイルによるカメラ軌道制御をサポートします。

Wan 2.1やHunyuanVideo 1.5を含む複数のバックボーンをサポートし、統一されたトレーナーとデータセットの抽象化を使用しています。

対象ユーザー

主に、単一のモデルではなく構造化された実行可能なフレームワークを求める大学院生、独立研究者、および世界モデル分野に参入するジュニアラボを対象としています。

ハイライト

• フルスタックパイプライン: データ $\rightarrow$ トレーニング $\rightarrow$ 推論のフロー全体をオープンソース化。
• マルチバックボーンサポート: Wan 2.1およびHunyuanVideo 1.5アーキテクチャの両方と互換性があります。
• LLM支援デバッグ: ユーザーがトレーニングの失敗 (lossのNaNやカメラのドリフトなど) を診断し、新しいバックボーンを統合するのを助ける "Claude Skills" を含みます。
• リアルタイム性能: モデルを4ステップの推論に蒸留し、インタラクティブな動画生成を実現します。