TencentARC/GameHorizon

The official repo of GameHorizon, a unified data and evaluation suite that measures AAA gameplay capabilities at different temporal horizons for diverse model families.

解决的问题

GameHorizon 解决了在 AAA 游戏中评估 AI 模型在不同时间尺度(从即时操作到长期策略)下处理游戏玩法时,缺乏统一、大规模数据和评估框架的问题。

工作原理

该工具包由三个集成组件构成:

  • GameHorizon-Annotator:一个自动化流水线,通过将游戏行为分类为短期操作、中期目标和长期策略,构建「指令金字塔」。
  • GameHorizon-Data:一个大规模语料库,包含来自 21 款 AAA 游戏的 5,000 小时游戏数据,提供时间对齐的视频、动作和多时域指令。
  • GameHorizon-Bench:双轨评估系统。离线轨道使用数千道多选题(MCQ)进行标准化测试,而在线轨道则通过可验证的子任务,在实时环境中测试因果和主题任务。

适用对象

专为需要理解、导航或自动化高保真视频游戏环境中的复杂游戏玩法的 AI 模型(如多模态 LLM)的研究人员和开发者设计。

主要亮点

  • 聚焦 AAA 游戏:涵盖 21 款不同的高端游戏作品。
  • 多时域分析:在操作、目标和策略三个不同规划层级上评估模型能力。
  • 海量数据集:包含 5,000 小时对齐的游戏数据。
  • 全面的基准测试:同时提供离线 MCQ 和在线任务环境,并通过子任务实现失败定位。

相关

  • 项目
  • 项目
  • 项目
  • 项目