AlayaLab/AlayaWorld

AlayaWorld – プレイ可能な長期的ビデオ生成

機能 – AlayaWorld は、単一の開始画像、カメラ軌道、テキストプロンプトから数分間の 3D 一貫性のあるビデオを生成できる研究グレードのビデオワールドモデルです。リアルタイムインタラクションをサポートしており、ビデオ生成中にキーボードで仮想カメラを操作したり、プロンプトを変更したりできます。

重要性 – ほとんどのビデオ生成モデルは、短いクリップを生成するか、時間の経過とともに空間的一貫性を失います。AlayaWorld は、次の 3 つの難しい問題を同時に解決します。

• インタラクション – 軽量な AdaLN ベースのカメラコントローラーにより、視点を即座に移動できます。
• 一貫性 – 3D キャッシュと圧縮されたフレーム履歴埋め込みにより、長いロールアウト全体で再訪した場所が認識可能になります。
• 安定性 – ドリフトした履歴でのトレーニングとエラーバンクメカニズムにより、分単位のシーケンスで視覚的アーティファクトが蓄積するのを防ぎます。
• ランタイム – 蒸留された数ステップの DMD 学生モデルがリアルタイムで実行され、プレイ可能なエクスペリエンスを実現します。

主要コンポーネント

コンポーネント	役割	注目すべき技術
ワールドモデルコア (alaya/)	設定、データ処理、メモリ構造、トレーナーロジック	自己回帰 (AR) + 蒸留モーションディフュージョン (DMD) パイプライン
LTX‑2.3 スタック (ltx2/)	ベーストランスフォーマー、VAE、テキストエンコーダー	DiT スタイルトランスフォーマー、Gemma‑3 テキストエンコーダー
Depth‑Anything‑3 (DA3)	AR パスに深度認識空間メモリを提供	外部リポジトリ、third_party/Depth-Anything-3 を介して統合
ViGeo	v1.1 バージョンで使用される空間メモリバックボーン	事前学習済みチェックポイント ViGeo1.1
Reactor (reactor/)	カメラを移動したりプロンプトを切り替えたりできるライブブラウザストリームとしてモデルを提供	Docker ベースのサーバー
トレーニングステージ	ステージ 0：キャッシュ作成、ステージ 1：双方向事前トレーニング、ステージ 2a：履歴エンコーダー、ステージ 2b：AR ファインチューニング、ステージ 3：DMD 蒸留	単一の統一ランチャー (scripts/finetune/train.sh)

使用方法

1. インストール – 1 つの Python 環境（PyTorch 2.7.1 + CUDA 12.8 でテスト済み）。DA3 リポジトリをクローンし、編集可能モードでインストールします。
2. ウェイトのダウンロード – メインの推論バンドル (merged_infer.safetensors) とステージ固有のチェックポイントは Hugging Face でホストされています（README のリンク）。
3. 推論の実行 – 4 つのエントリポイントが提供されています：
   • ケースデモ (DA3) – リアルタイムプレイ可能ストリーム (inference/run.sh)。
   • AR 教師 – 完全な空間メモリを使用した 30 ステップの自己回帰生成。
   • DMD 学生 – 4 ステップの蒸留生成（高速、リアルタイム）。
   • 双方向 I2V – カメラ軌道なしの画像からビデオへの生成。
4. ブラウザデモでプレイ – reactor Docker イメージをビルドし、reactor run を起動します。モデルがビデオをストリーミングしている間にカメラを操作したりプロンプトを切り替えたりする UI を開きます。
5. トレーニング – configs/ のステージバイステージのスクリプトと docs/vigeo/ のハンドブックに従ってください。部分的なトレーニングデータも Hugging Face で利用できます。

リリース内容

• 4 つのパスすべての完全な推論コード。
• AR 教師、DMD 学生、共有ステージ 1 双方向 Transformer の事前学習済みウェイト。
• 部分的なトレーニングデータセットと完全なトレーニングハンドブック。
• インタラクティブなブラウザデモ (reactor)。

ライセンス – コードとウェイトは LTX-2 コミュニティライセンス（非商用、学術利用のみ）の下でリリースされています。サードパーティモデル（Gemma‑3、Depth‑Anything‑3）は、それぞれのライセンスに基づいて取得する必要があります。

開発者 – Alaya Lab（コアリード：Kaipeng Zhang と Chuanhao Li）と研究者およびエンジニアのチーム。

---

詳細については、README にリンクされているプロジェクトページ、3 つの arXiv レポート、Hugging Face モデルカードを参照してください。