AlayaLab/WildWorld

What it solves

WildWorld は、動的な世界モデルリングのための AI モデルをトレーニングするための、大規模かつ高忠実度のデータセットを提供します。具体的には、生成的なアクション・ロールプレイング・ゲーム (ARPGs) の作成をターゲットとし、フォトリアルな環境において、プレイヤーの特定のアクションに基づいて世界がどのように反応するかをモデルに教えるために必要なデータを供給します。

How it works

このプロジェクトは、AAA アクション・ロールプレイング・ゲームからデータを収集し、フレームごとに膨大な量の情報を自動的にキャプチャします。各サンプルには以下が含まれます：

• Visuals: 720p RGB フレームと、ロスレスな深度マップ。

• State Data: 精確な世界座標、カメラポーズ、およびキャラクターのステータス (HP, stamina, stamina, attack power, and elemental resistances)。

• Physicality: プレイヤー、モンスター、武器の 3D 関節位置 (skeletons)、骨格接続マップを含む。

• Actions: 攻撃やスキル使用などの、意味のある 450 種類以上のセマンティック・アクション、階層的な自然言語キャプションがペアになっています。

Who it’s for

世界モデル、生成ビデオ、エンボディド・インテリジェンス (embodied intelligence)、および AI 駆動のゲーム環境の開発に取り組む研究者や開発者。

Highlights

• Massive Scale: 多様なステージとモンスター種に対し、1.08 億フレームを超えるデータ。

• Explicit State: 単純なビデオデータセットとは異なり、内部ゲーム状態 (HP やアニメーション ID) を提供します。

• Long-Horizon Sequences: 30 分以上のゲームプレイ・クリップが含まれており、モデルが長期的な依存関係を学習できるようにします。

• Comprehensive Annotations: RGB、深度、3D スケルトン、およびアクションの自然言語記述を組み合わせています。