Junchao-cs/SolarWM

解決する課題

SolarWMは、インタラクティブなビデオ世界モデルをトレーニングおよび実行するための統合されたオープンソースフレームワークを提供します。複数の最先端モデル（Wan2.2、LTX-2.5、MiniMax-H3）をサポートしつつ、それぞれのネイティブな機能を維持する単一のコードベースを提供することで、異種混合のビデオバックボーンを扱う複雑さを解消します。

仕組み

このプロジェクトは、双方向ビデオモデルを、長時間の生成が可能な因果的でインタラクティブな世界モデルに変換するための3段階のトレーニングレシピを利用しています。

1. Stage 0.5: 双方向フローマッチングを使用して、基礎となるビデオ、テキスト、およびカメラ条件付き表現を学習します。
2. Stage 1: 教師強制による自己回帰トレーニングを使用して、モデルがノイズ除去と有限ステップのフローマップを同時に学習できるようにします。
3. Stage 2: 自己勾配強制 (SGF) を採用し、モデル自身の自己回帰ロールアウトでトレーニングを行うことで、スライディングウィンドウ推論による安定した長時間のインタラクションを実現します。

このフレームワークは、フレームアライメントされたメタデータ、カメラジオメトリ、キャプションを含む143万クリップ（25 TB）の巨大なオープンソースデータセットによってサポートされています。

対象ユーザー

このプロジェクトは、ビデオ生成や世界モデルに取り組む研究者や開発者向けに設計されており、大規模なビデオバックボーンのトレーニング、微調整、または推論を行うためのスケーラブルでモジュール化されたパイプラインを必要とする方に最適です。

ハイライト

• 統合フレームワーク: 単一のコードベース内で、異なるアーキテクチャ（Wan2.2、LTX-2.5、MiniMax-H3）にわたる5B–33Bパラメータモデルをサポートします。
• オープンデータ: ソースデータとトレーニング混合を分離する柔軟な処理パイプラインを備えた、完全な25 TBのデータセットを提供します。
• 長時間の能力: スライディングウィンドウ推論を使用して、任意の長さのビデオシーケンスに対する少ステップのインタラクションを可能にします。
• 高度なレンダリング: 構造条件付きビデオ生成のためのSolarRendererとの統合が含まれています。