harbor-framework/terminal-bench

解决的问题

Terminal-Bench 提供了一种标准化的方法来衡量前沿 AI 代理的能力。它解决了需要高质量、多样化且持续演进的困难任务集，以追踪进展并比较不同代理构建者性能的需求。

工作原理

它作为一个持续的基准测试运行，任务以带标签的发布形式发布。用户可以使用 Harbor 框架运行基准测试，指定要测试的代理和模型。系统支持使用 Modal 开发的沙箱环境，以确保任务安全且一致地执行，并包含“预言机”解决方案，用于验证环境是否正常工作。

适用对象

此工具专为希望评估其 AI 代理处理复杂现实世界基于终端任务能力的前沿代理构建者和研究人员设计。

主要亮点

• 持续演进：基准测试会随着时间推移不断更新，加入新的挑战性任务，防止停滞。
• 多样化的任务集：涵盖多个领域中各种难度的任务。
• 社区驱动：通过结构化的提案和评审流程，积极鼓励贡献新任务。
• 集成性：基于 Harbor 框架构建，并与 Modal 集成，支持 CI/CD 和排行榜实验。