AlayaLab/WildWorld

What it solves

WildWorld 提供了一个大规模、高保真度的数据集，旨在训练用于动态世界建模的 AI 模型。它特别针对生成式动作角色扮演游戏 (ARPGs) 的开发，通过提供必要的数据，教导模型如何在写实的环境中对特定的玩家动作做出反应。

How it works

该项目收集来自 AAA 动作角色扮演游戏的数据，自动捕捉每一帧的海量信息。每个样本包含：

• Visuals: 720p RGB 帧和无损深度图。
• State Data: 精确的世界坐标、相机姿态、以及角色属性 (HP, stamina, attack power, and elemental resistances)。
• Physicality: 玩家、怪物以及武器的 3D 关节位置 (skeletons)，包括骨骼连接图。
• Actions: 超过 450 种具有语义意义的动作，例如攻击或释放技能，并配对层级化的自然语言描述。

Who it’s for

研究人员和开发者，致力于世界模型、生成式视频、具身智能 (embodied intelligence) 以及 AI 驱动的游戏环境开发。

Highlights

• Massive Scale: 超过 1.08 亿帧的数据，涵盖多种场景和怪物物种。

• Explicit State: 不同于简单的视频数据集，它为每一帧提供内部游戏状态 (如生命值和动画 ID)。

• Long-Horizon Sequences: Includes 包含超过 30 分钟的游戏片段，允许模型学习长期依赖关系。

• Comprehensive Annotations: 结合了 RGB、深度、3D 关节位置以及动作的自然语言描述。