SWE-bench/SWE-bench

何を解決するか

SWE-bench は、大規模言語モデル（LLMs）が現実世界のソフトウェア問題を解決する能力を評価するものです。単純なコーディングタスクと、大規模なコードベースを管理する複雑な現実とのギャップに対処し、モデルがコードベースを理解し、GitHubの問題を修正する機能的なパッチを生成できるかを検証します。

仕組み

このベンチマークは、実際のGitHubの問題とそれに対応するコードベースのセットを提供します。モデルはコードベースと問題の説明を受け取り、問題を解決するコードパッチ（diff）を生成する必要があります。システムはDockerを用いた完全にコンテナ化された評価ハーネスを使用し、評価の再現性と隔離を確保します。

対象ユーザー

自律的なソフトウェアエンジニアリングタスクに向けたLLMの開発・テストを行うAI研究者およびソフトウェアエンジニアリングエージェント開発者。

特徴

• 現実世界のデータ: 実際のGitHubの問題を使用して、本物のソフトウェア問題に対するモデルのテストを実施。
• コンテナ化された評価: Dockerを用いて再現性があり、隔離されたテスト環境を提供。
• 多様なデータセット: SWE-bench Verified（人間が確認済みの解決可能な問題）、Multimodal（視覚的ソフトウェア領域）、Multilingual などの専門バージョンを含む。
• uma Cloud統合: sb-cli および Modal を通じてクラウドベースの評価をサポート。
• トレーニング支援: 事前処理済みデータセットと、SWE-smith などのトレーニングデータ作成ツールを提供。