AMAP-ML/DreamX-World

何を解決するか

DreamX-Worldは、ユーザーがリアルタイムで探索・変更可能な高精細でインタラクティブな世界シミュレーションを生成する一般用途のインタラクティブな世界モデルです。長期間の動画生成におけるアイデンティティ、背景、スタイルのずれといった一般的な課題を解決し、カメラの動きや環境変化に対して正確な制御を可能にします。

動作方法

このモデルは、Unreal Engineデータ、ゲームプレイ映像、実世界の動画とカメラ推定を組み合わせたスケーラブルなデータエンジンを使用して訓練されています。プログレッシブな訓練パイプラインを採用しており、まず細かい行動制御を学習し、次に開かれたイベントへの応答を学習し、最後に強化学習を用いて視覚的精細度とインタラクションの一貫性を向上させます。再訪した領域のシーンの持続性を維持するために、幾何学ガイド付きメモリ検索を用いて過去の観測から視覚的情報を回復します。効率性を高めるために、強制（forcing）と蒸留（distillation）を活用してインタラクティブな生成を実現しています。

対象ユーザー

本プロジェクトは、世界モデル、インタラクティブAIシミュレーション、ゲーム、バーチャル環境、ロボットシミュレーションなどの応用分野における高精細な動画生成に取り組む研究者や開発者を対象としています。

主な特徴

• インタラクティブな探索: 第一人称視点と一貫性のある第三人称視点の両方をサポートし、安定したカメラ追従動作を実現。
• 長期予測生成: 明らかな視覚的ずれが生じない状態で、最大1分間の連続動画を生成可能。
• プロンプト駆動イベント: ユーザーが単一または複合的なイベントをトリガーし、環境を動的に変化させられる。
• シーンの持続性: 幾何学ガイド付きメモリを用いて、再訪した領域のレイアウトとオブジェクトの同一性を保証。
• 多様な環境: 実在の都市や自然景観から、スタイリッシュなSFやファンタジー世界まで、幅広い設定を生成可能。