GamePhanesStudio/GamePhanes

解決的問題

Game Terminal-Bench 提供了一個專門用於評估編碼代理的基準測試。與僅檢查檔案和結束碼的標準終端基準測試不同，此專案解決了評估代理在建構、除錯與修復互動式軟體（如遊戲）方面的能力需求，其中「真實」由應用程式的實際執行行為與狀態變更所決定。

工作原理

該基準測試使用指令、檢視、編輯、執行與觀察的循環來測試代理。它基於 Harbor 任務合約建構，每個任務皆為一個自包含的目錄，包含環境用的 Dockerfile、起始專案（通常損壞或未完成）、代理的指示，以及一組用於從外部驗證執行時行為的測試/探針。

適用對象

此工具專為需要在複雜、互動式軟體工程任務而非簡單腳本撰寫任務上進行測試的研究人員與開發者設計。

特色亮點

• 以執行時為核心的評估：評估代理是否使軟體實際執行並按預期行為，而不僅僅是程式碼變更。
• Harbor 兼容：使用標準化任務格式，實現可移植性與可重現的評估執行。
• 互動式目標：聚焦遊戲開發與互動式應用，為代理除錯提供高難度上限。
• 決定性驗證：使用評估者控制的探針取得成功證據，無需依賴 GUI 截圖。