scaleapi/SWE-bench_Pro-os

解決する課題

SWE-Bench Pro は、LLM や AI エージェントが実世界の長期間にわたるソフトウェアエンジニアリングタスクをどの程度処理できるかを評価するための厳格なベンチマークを提供します。AI がコードベースと報告された問題を理解するだけでなく、問題を解決するための機能的なパッチを生成する必要がある、検証済みのデータセットの必要性に応えます。

仕組み

このプロジェクトは、ソフトウェアの問題とそれに対応するコードベースのデータセットを提供します。AI エージェントはコードベースと問題の説明を受け取り、コードパッチを生成するタスクを課されます。システムは、Docker コンテナ（または Modal）を含む再現可能なパイプラインを使用してこれらのパッチを評価し、環境の一貫性を確保します。V2 バージョンには 11 のリポジトリにわたる 642 の検証済みタスクが含まれており、タスクディレクトリと検証機能に Harbor 形式を利用しています。

対象読者

ソフトウェアエンジニアリングのための AI エージェントを構築する研究者や開発者、および大規模言語モデルのコーディング能力をベンチマークする人々向けに設計されています。

ハイライト

• 検証済みデータセット: V2 には 642 の検証済みタスクと、極限テスト用の特定の "HARD-51" サブセットが含まれています。
• 再現可能な評価: Docker と Modal を使用して、パッチをテストするための分離された一貫性のある環境を提供します。
• 統合: SWE-agent や Harbor タスクフレームワークなどのツールと互換性があります。
• 公開リーダーボード: エージェントのパフォーマンスを追跡するための公開および非公開のリーダーボードを維持しています。