GamePhanesStudio/GamePhanes

解決する課題

GameForgeBenchは、ファイルの変更や終了コードのみをチェックする既存のコーディングベンチマークの限界に対処します。AIコーディングエージェントが、インタラクティブなソフトウェア（特にゲーム）を実際に構築、デバッグ、修復する能力を評価する方法を提供します。ここでは、プロジェクトが実際のゲームエンジンランタイム内で起動し、正しく動作するかどうかが「真実」の基準となります。

仕組み

このベンチマークは、指示、検査、編集、実行観察のループを使用します。エージェントにはスタータープロジェクトと自然言語によるリクエストが提供されます。合格するには、エージェントがコードを修正し、決定論的なネイティブプローブ（native probe）が実行中に意図した動作を検証できるようにする必要があります。

主な技術的コンポーネントは以下の通りです：

• 密閉環境 (Hermetic Environments)：各タスクはDockerを使用し、エンジンと依存関係が固定された再現可能な環境を保証します。
• 多層エビデンス (Multi-layer Evidence)：評価は、アーティファクトチェック（ファイル）、エンジンチェック（起動/解析）、および動作チェック（状態遷移とイベント）に分割されます。
• バイナリスコアリング (Binary Scoring)：必要なすべての動作チェックに合格した場合のみタスクは合格 (1) となり、それ以外は不合格 (0) となります。

対象ユーザー

さまざまなゲームエンジン（Godot、Unity、Minecraft、Roblox、C++など）にわたる複雑でステートフルなエンジニアリングタスクでテストする必要がある、AIコーディングエージェントを構築する研究者や開発者向けに設計されています。

ハイライト

• ランタイムベースの検証：コードの類似性やファイルの存在だけでなく、エンジン内での実際の機能的動作を評価します。
• 幅広いエンジンサポート：Godot、Unity、Roblox、Minecraft、Unreal、C++のタスクが含まれています。
• 決定論的プローブ：ネイティブプローブを使用することで、スコアリングパスにおけるLLMベースの判定者の予測不可能性を回避します。
• 包括的なタスク形式：すべてのタスクには、スタータープロジェクト、指示、Docker化された環境、および参照ソリューションが含まれています。