GamePhanesStudio/GamePhanes

해결하는 문제

GameForgeBench는 파일 변경 사항이나 종료 코드만 확인하는 기존 코딩 벤치마크의 한계를 해결합니다. 이 벤치마크는 AI 코딩 에이전트가 대화형 소프트웨어(특히 게임)를 실제로 구축, 디버깅 및 복구하는 능력을 평가하는 방법을 제공합니다. 여기서 '진실'은 프로젝트가 실제 게임 엔진 런타임 내에서 시작되고 올바르게 작동하는지 여부에 따라 결정됩니다.

작동 방식

이 벤치마크는 지시, 검사, 편집 및 런타임 관찰의 루프를 사용합니다. 에이전트에게는 스타터 프로젝트와 자연어 요청이 제공됩니다. 통과하려면 에이전트가 코드를 수정하여 결정론적 네이티브 프로브(native probe)가 실행 중에 의도된 동작을 검증할 수 있도록 해야 합니다.

주요 기술 구성 요소는 다음과 같습니다:

• 밀폐 환경 (Hermetic Environments): 각 작업은 Docker를 사용하여 엔진과 종속성이 고정된 재현 가능한 환경을 보장합니다.
• 다층 증거 (Multi-layer Evidence): 평가는 아티팩트 검사(파일), 엔진 검사(시작/파싱), 동작 검사(상태 전환 및 이벤트)로 나뉩니다.
• 이진 점수 (Binary Scoring): 모든 필수 동작 검사를 통과한 경우에만 작업이 통과(1)로 표시되며, 그렇지 않으면 실패(0)로 처리됩니다.

대상 사용자

다양한 게임 엔진(Godot, Unity, Minecraft, Roblox, C++ 등) 전반에 걸쳐 복잡하고 상태가 있는 엔지니어링 작업을 테스트해야 하는 AI 코딩 에이전트를 구축하는 연구원 및 개발자를 위해 설계되었습니다.

주요 특징

• 런타임 기반 검증: 코드 유사성이나 파일 존재 여부가 아닌, 엔진 내의 실제 기능적 동작을 보상합니다.
• 광범위한 엔진 지원: Godot, Unity, Roblox, Minecraft, Unreal 및 C++에 대한 작업이 포함되어 있습니다.
• 결정론적 프로브: 네이티브 프로브를 사용하여 점수 산정 경로에서 LLM 기반 판정자의 예측 불가능성을 방지합니다.
• 포괄적인 작업 형식: 모든 작업에는 스타터 프로젝트, 지침, Docker화된 환경 및 참조 솔루션이 포함되어 있습니다.