scaleapi/SWE-bench_Pro-os

它解决了什么问题

SWE-Bench Pro 提供了一个严谨的基准测试，用于评估大型语言模型 (LLMs) 和 AI 代理处理真实世界、长跨度软件工程任务的能力。它解决了对验证数据集的需求，在该数据集中，AI 不仅必须理解代码库和报告的问题，还必须生成功能性的补丁来解决问题。

运作方式

该项目提供了一个包含软件问题和对应代码库的数据集。AI 代理会收到一个代码库和问题描述，并被要求生成一个代码补丁。系统使用包含 Docker 容器（或 Modal）的可重现流水线来评估这些补丁，以确保环境的一致性。V2 版本包含跨 11 个存储库的 642 个已验证任务，并利用 Harbor 格式进行任务目录和验证。

目标对象

它专为构建软件工程 AI 代理的研究人员和开发人员，以及那些对大型语言模型编码能力进行基准测试的人员而设计。

特色亮点

• 已验证数据集：V2 包含 642 个已验证任务，以及一个用于极限测试的特定 "HARD-51" 子集。
• 可重现的评估：使用 Docker 和 Modal 为测试补丁提供隔离、一致的环境。
• 整合性：与 SWE-agent 和 Harbor 任务框架等工具相容。
• 公开排行榜：维护公开和私人的排行榜以追踪代理性能。