SWE-bench/SWE-bench

解决的问题

SWE-bench 评估大语言模型（LLMs）解决现实世界软件问题的能力。它填补了简单编码任务与管理大型代码库复杂现实之间的空白，要求模型理解代码库并生成可运行的补丁来修复 GitHub 问题。

如何工作

该基准提供了一组真实世界的 GitHub 问题及其对应的代码库。模型会收到一个代码库和问题描述，必须生成一个能解决问题的代码补丁（diff）。系统通过 Docker 实现完全容器化的评估环境，确保评估过程可复现且相互隔离。

适用对象

致力于构建和测试用于自主软件工程任务的大语言模型的 AI 研究人员和软件工程代理开发者。

主要亮点

• 真实世界数据：使用真实的 GitHub 问题，测试模型在真实软件问题上的表现。
• 容器化评估：使用 Docker 实现可复现且隔离的测试环境。
• 多样化数据集：包含 SWE-bench Verified（经人工确认可解决的问题）、Multimodal（视觉软件领域）、Multilingual 等专用版本。
• uma Cloud 集成：支持通过 sb-cli 和 Modal 进行云上评估。
• 训练支持：提供预处理数据集和 SWE-smith 等工具，用于创建训练数据。