mira-wm/mira

何を解決しているか

MIRAは、複雑なマルチプレイヤー環境におけるリアルタイムでインタラクティブな世界モデルを構築する課題に対処しています。4人のプレイヤーの同時行動に基づいて、完全な2v2 Rocket Leagueマッチのビデオフレームを生成するシミュレーションを可能にします。

動作方法

このシステムは、順次ビデオフレームを生成する50億パラメータの潜在拡散モデルを使用しています。視覚データを処理するために表現自動符号化器（コーデック）を活用しています。トレーニングプロセスは、コーデック、単一プレイヤー世界モデル、そして単一プレイヤー版からウォームスタートされた4プレイヤー世界モデルの順で構成されています。トレーニングには、「Rocket Science」データセットが使用されており、2v2マッチの同期された複数視点映像、キーボード操作、ゲーム状態が含まれます。

対象ユーザー

世界モデル、動画生成における潜在拡散、複雑なインタラクティブシミュレーション向けAIの研究者および開発者。

特徴

• リアルタイム性能: 単一GPU上で20 FPSで完全な2v2マッチを実行可能。
• マルチプレイヤー相互作用: 4人のプレイヤーの行動の組み合わせに基づいてフレームを生成。
• 大規模モデル: 50億パラメータの潜在拡散アーキテクチャを活用。
• 包括的なデータセット: 同期されたマルチビュー動画、操作、物理状態を含む「Rocket Science」データセット。