AlayaLab/WildWorld

What it solves

WildWorld는 동적 월드 모델링을 위한 AI 모델 학습을 위한 대규모, 고충실도 데이터셋을 제공합니다. 특히 생성형 액션 RPG (ARPGs)의 제작을 목표로 하며, 플레이어가 특정 행동을 수행할 때 사진처럼 사실적인 환경에서 세계가 어떻게 반응하는지 모델에게 가르치기 위한 필수 데이터를 제공합니다.

How it works

이 프로젝트는 AAA 액션 RPG에서 데이터를 수집하며, 프레임당 방대한 양의 정보를 자동으로 캡처합니다. 각 샘플에는 다음이 포함됩니다:

• Visuals: 720p RGB 프레임과 무손실 깊이 맵.

• State Data: 정밀한 세계 좌표, 카메라 포즈, 캐릭터 능력치 (HP, stamina, attack power, and elemental resistances).

• Physicality: 플레이어, 몬스터, 무기의 3D 관절 위치 (skeletons), 뼈대 연결 맵 포함.

• Actions: 공격이나 스킬 사용과 같은 450개 이상의 의미 있는 액션, 계층적 자연어 캡션과 쌍을 이룹니다.

Who it’s for

월드 모델, 생성형 비디오, Embodied Intelligence, AI 기반 게임 환경 개발을 연구하는 연구자 및 개발자.

Highlights

• Massive Scale: 다양한 스테이지와 몬스터 종을 아우르는 1억 800만 프레임 이상의 데이터.

• Explicit State: 단순한 비디오 데이터셋과 달리, 모든 프레임에 내부 게임 상태 (체력 및 애니메이션 ID 등)를 제공합니다.

• Long-Horizon Sequences: 30분 이상의 게임플레이 클립을 포함하여, 모델이 장기적인 의존 관계를를 학습할 수 있도록 합니다.

• Comprehensive Annotations: RGB, 깊이, 3D 스켈레톤, 그리고 액션에 대한 자연어 설명을 결합합니다.