ByteDance-Seed/EdgeBench

解决的问题

EdgeBench 解决了 AI 代理一次性性能基准测试的局限性。它不衡量代理是否能立即解决任务，而是评估代理通过与真实世界环境的迭代互动，在长时间（每个任务最多 12 小时以上）内学习与改进的能力。

运作方式

EdgeBench 包含六个类别（科学与机器学习、系统与软件工程、优化、知识、形式化、游戏）中的 134 个真实世界任务。它使用一个名为 SForge 的专门评估框架，采用双容器隔离系统：一个是代理操作的「工作」容器，另一个是执行测试的隐藏「评判」容器。代理会收到关于其提交的细粒度反馈，并可在时间预算到期前于封闭循环中迭代其解决方案。最终分数基于整个轨迹中达成的最佳结果。

目标对象

它专为构建自主代理的 AI 研究人员与开发者设计，他们希望衡量其模型在获得时间与可执行环境互动并接收反馈时，如何扩展与改进。

重点特色

• 长时间跨度评估：追踪每个任务 12 小时以上的改进，而非单次尝试。
• 双容器隔离：通过分离工作与评判环境，防止代理「骇入」评估。
• 多样化任务集：包含 134 个任务，其中 51 个公开发布，涵盖形式验证与系统工程等复杂领域。
• 弹性后端支持：SForge 支持本地 Docker、用于大规模执行的 Kubernetes，以及 E2B 云端沙盒。