GamePhanesStudio/GamePhanes

解决的问题

Game Terminal-Bench 提供了一个专门用于评估编码代理的基准测试。与仅检查文件和退出码的标准终端基准测试不同，该项目解决了评估代理在构建、调试和修复交互式软件（如游戏）方面的能力需求，其中“真相”由应用程序的实际运行行为和状态变化决定。

工作原理

该基准测试使用指令、检查、编辑、运行和观察的循环来测试代理。它基于 Harbor 任务契约构建，每个任务都是一个自包含的目录，包含环境用的 Dockerfile、起始项目（通常损坏或不完整）、代理的指令，以及一组用于从外部验证运行时行为的测试/探针。

适用对象

此工具专为需要在复杂、交互式软件工程任务而非简单脚本编写任务上进行测试的研究人员和开发者设计。

特色亮点

• 以运行时为核心评估：评估代理是否使软件实际运行并按预期行为，而不仅仅是代码变更。
• Harbor 兼容：使用标准化任务格式，实现可移植性和可复现的评估运行。
• 交互式目标：聚焦游戏开发和交互式应用，为代理调试提供高难度上限。
• 确定性验证：使用评估者控制的探针获取成功证据，无需依赖 GUI 截图。