AlayaLab/AlayaWorld

何を解決するか

AlayaWorldは、長時間にわたる一貫性のある動画をインタラクティブかつ再生可能な形で生成する課題に対処します。長時間の動画生成中に通常発生する「ドリフト」や視覚的なアーティファクトの蓄積を解決し、再訪問した場所が認識可能であり、環境が1分程度のシーケンスにわたって安定していることを保証します。

動作方法

AlayaWorldは、空間的および時間的記憶の組み合わせを使用して一貫性を維持する自己回帰的世界モデルです。空間的再認識には3Dキャッシュ（現在のビューに再投影）を、時間的連続性には圧縮されたフレーム履歴埋め込みを使用します。誤差の累積を防ぐために、「エラー銀行」と呼ばれる仕組みを採用し、アーティファクトを再び学習プロセスに再注入します。リアルタイム性能を実現するため、生成に必要なステップ数を削減するための少数ステップDMD蒸留を用いており、チャンク境界でのライブカメラ制御やプロンプト切り替えが可能になります。

対象ユーザー

このプロジェクトは、動画生成、世界モデル、インタラクティブAI環境の研究開発に従事する研究者や開発者を対象としています。

主な特徴

• インタラクティブ制御: キーボードによるリアルタイムカメラナビゲーションと、生成中におけるプロンプト切り替えをサポート。
• 長時間安定性: 特化した記憶システムとエラー注入学習により、1分程度の動画で視覚的一貫性を維持。
• リアルタイムパフォーマンス: DMD蒸留と短い時間チャンクにより、低レイテンシのインタラクションを実現。
• 包括的なパイプライン: 複数段階の事前学習とSFTを含む、フルスタックのトレーニングおよび推論コードを提供。