GamePhanesStudio/GamePhanes

何を解決するか

Game Terminal-Bench は、コーディングエージェントの評価に特化したベンチマークを提供します。標準的なターミナルベンチマークがファイルのチェックや終了コードのみを確認するのに対し、このプロジェクトは、実行時におけるアプリケーションの動作や状態変化によって「真実」が決まる、インタラクティブなソフトウェア（ゲームなど）のビルド、デバッグ、修復能力を評価する必要に応えます。

動作方法

このベンチマークは、指示、検査、編集、実行、観察のループを用いてエージェントをテストします。Harborタスク契約に基づいて構築されており、各タスクは自己完結型のディレクトリで構成され、環境用の Dockerfile、スターター・プロジェクト（しばしば破損または未完成）、エージェント向けの指示、および外部から実行時動作を検証するためのテスト/プローブが含まれます。

対象ユーザー

このツールは、単なるスクリプト作成タスクではなく、複雑なインタラクティブなソフトウェア開発タスクに対してテストが必要な研究者や開発者向けに設計されています。

特徴

• 実行時中心の評価: コードの変更だけでなく、ソフトウェアが実際に意図した通りに動作するかどうかを評価します。
• Harbor互換性: ポータブルで再現可能な評価実行を可能にする標準化されたタスク形式を使用します。
• インタラクティブなターゲット: ゲーム開発やインタラクティブなアプリケーションに焦点を当て、エージェントのデバッグ能力に高い難易度の上限を設けます。
• 決定論的検証: GUIスクリーンショットに頼らず、評価者制御のプローブを用いて成功の証拠を取得します。