GamePhanesStudio/GamePhanes

해결하는 문제

Game Terminal-Bench는 코딩 에이전트를 평가하기 위한 전문화된 벤치마크를 제공합니다. 일반적인 터미널 벤치마크가 파일과 종료 코드만 확인하는 반면, 이 프로젝트는 실제 실행 시 동작과 상태 변화에 의해 "진실"이 결정되는 인터랙티브 소프트웨어(예: 게임)의 빌드, 디버깅, 수리 능력을 평가할 필요를 해결합니다.

작동 방식

이 벤치마크는 지시, 검사, 편집, 실행, 관찰의 루프를 사용하여 에이전트를 테스트합니다. Harbor 작업 계약 기반으로 구축되어 있으며, 각 작업은 환경용 Dockerfile, 시작 프로젝트(종종 손상되거나 완성되지 않은 상태), 에이전트를 위한 지침, 외부에서 실행 시 동작을 검증하기 위한 테스트/프로브를 포함하는 자가 포함 디렉터리입니다.

대상 사용자

이 도구는 단순한 스크립트 작성 작업이 아닌, 복잡한 인터랙티브 소프트웨어 엔지니어링 작업에 테스트가 필요한 연구자 및 개발자를 위한 것입니다.

주요 특징

• 실행 시점 중심 평가: 코드 변경만이 아니라 소프트웨어가 실제로 의도한 대로 작동하는지 여부를 평가합니다.
• Harbor 호환성: 이식 가능하고 재현 가능한 평가 실행을 위한 표준화된 작업 형식을 사용합니다.
• 인터랙티브 대상: 게임 개발 및 인터랙티브 애플리케이션에 초점을 맞춰 에이전트 디버깅의 높은 난이도 한계를 제공합니다.
• 결정론적 검증: GUI 스크린샷에 의존하지 않고 평가자 제어 프로브를 사용하여 성공의 증거를 확보합니다.