TencentARC/GameHorizon

해결하는 문제

GameHorizon는 AAA 게임에서 즉각적인 행동부터 장기 전략에 이르기까지 다양한 시간 규모에서 AI 모델이 게임 플레이를 어떻게 처리하는지 평가하기 위한 통합적이고 대규모 데이터 및 평가 프레임워크의 부족을 해결합니다.

작동 방식

이 도구 모음은 세 가지 통합된 구성 요소로 구성됩니다:

• GameHorizon-Annotator: 자동화된 파이프라인으로 게임 플레이를 단기 작업, 중기 목표, 장기 전략으로 분류하여 "명령 피라미드"를 생성합니다.
• GameHorizon-Data: 21개의 AAA 타이틀에서 수집한 총 5,000시간의 게임 플레이 데이터를 포함하는 대규모 코퍼스로, 시간적으로 정렬된 영상, 행동, 다중 호라이즌 명령을 제공합니다.
• GameHorizon-Bench: 이중 트랙 평가 시스템입니다. 오프라인 트랙은 수천 개의 다중 선택 문제(MCQ)를 사용해 표준화된 테스트를 수행하며, 온라인 트랙은 검증 가능한 하위 작업을 통해 실시간 환경에서 인과 및 주제적 작업을 평가합니다.

대상 사용자

고해상도 비디오 게임 환경에서 복잡한 게임 플레이를 이해하거나 탐색하거나 자동화해야 하는 AI 모델(예: 멀티모달 LLM)을 개발하고 평가하는 연구자 및 개발자에게 적합합니다.

주요 특징

• AAA 게임 중심: 21개의 다양한 고급 게임 타이틀을 커버합니다.
• 다중 호라이즌 분석: 작업, 목표, 전략의 세 가지 다른 수준의 계획 능력을 평가합니다.
• 대규모 데이터셋: 5,000시간의 정렬된 게임 플레이 데이터를 포함합니다.
• 포괄적인 벤치마킹: 오프라인 MCQ와 온라인 작업 환경을 모두 제공하며, 하위 작업을 통해 실패 위치를 정밀하게 파악할 수 있습니다.