TencentARC/GameHorizon
The official repo of GameHorizon, a unified data and evaluation suite that measures AAA gameplay capabilities at different temporal horizons for diverse model families.
解决的问题
GameHorizon 解决了在 AAA 游戏中评估 AI 模型在不同时间尺度(从即时操作到长期策略)下处理游戏玩法时,缺乏统一、大规模数据和评估框架的问题。
工作原理
该工具包由三个集成组件构成:
- GameHorizon-Annotator:一个自动化流水线,通过将游戏行为分类为短期操作、中期目标和长期策略,构建「指令金字塔」。
- GameHorizon-Data:一个大规模语料库,包含来自 21 款 AAA 游戏的 5,000 小时游戏数据,提供时间对齐的视频、动作和多时域指令。
- GameHorizon-Bench:双轨评估系统。离线轨道使用数千道多选题(MCQ)进行标准化测试,而在线轨道则通过可验证的子任务,在实时环境中测试因果和主题任务。
适用对象
专为需要理解、导航或自动化高保真视频游戏环境中的复杂游戏玩法的 AI 模型(如多模态 LLM)的研究人员和开发者设计。
主要亮点
- 聚焦 AAA 游戏:涵盖 21 款不同的高端游戏作品。
- 多时域分析:在操作、目标和策略三个不同规划层级上评估模型能力。
- 海量数据集:包含 5,000 小时对齐的游戏数据。
- 全面的基准测试:同时提供离线 MCQ 和在线任务环境,并通过子任务实现失败定位。
相关
- 项目
- 项目
- 项目
- 项目