GamePhanesStudio/GamePhanes

解决的问题

GameForgeBench 解决了现有编程基准测试仅检查文件变更或退出代码的局限性。它提供了一种评估 AI 编程代理能力的方法，测试其是否能真正构建、调试并修复交互式软件（特别是游戏），其中“正确性”取决于项目是否能在真实的游戏引擎运行环境中启动并正确运作。

运作方式

该基准测试采用指令、检查、编辑与运行观察的循环。它为代理提供一个起始项目与自然语言请求。若要通过测试，代理必须修改代码，使得确定性的原生探测器（native probe）能在执行期间验证预期的行为。

关键技术组件包括：

• 密封环境 (Hermetic Environments)：每个任务皆使用 Docker，确保环境的可重现性，并锁定引擎与依赖项版本。
• 多层证据 (Multi-layer Evidence)：评估分为人工制品检查（文件）、引擎检查（启动/解析）与行为检查（状态转换与事件）。
• 二元评分 (Binary Scoring)：只有当所有必要的行为检查皆通过时，任务才标记为通过 (1)；否则视为失败 (0)。

适用对象

专为研究人员与开发人员设计，适用于测试需要在各种游戏引擎（如 Godot、Unity、Minecraft、Roblox 与 C++）上执行复杂、具状态工程任务的 AI 编程代理。

特色亮点

• 基于运行时的验证：奖励引擎内的实际功能行为，而非仅仅是代码相似度或文件存在与否。
• 广泛的引擎支持：包含针对 Godot、Unity、Roblox、Minecraft、Unreal 与 C++ 的任务。
• 确定性探测器：使用原生探测器，避免评分路径中基于 LLM 的评判者所带来的不确定性。
• 全面的任务格式：每个任务皆包含起始项目、说明、Docker 化环境与参考解答。