harbor-framework/terminal-bench-science

Terminal-Bench-Science: Evaluating AI agents on research workflows across scientific domains

解决的问题

Terminal-Bench-Science 提供了一种标准化的方法，用于衡量 AI 代理在处理复杂、真实世界科学研究工作流方面的表现。它填补了通用 AI 能力与生命科学、物理科学、地球科学、数学和工程科学等科学领域所需的专门化、专家级任务之间的差距。

如何工作

该项目是一个持续的基准测试，包含由领域专家精心策划的任务，并在终端环境中进行客观验证。它使用 Harbor 框架将代理运行在这些任务上。该基准通过社区驱动的流程不断演进，领域专家提出、构建并评审任务，以确保其对前沿 AI 模型始终保持挑战性和相关性。

适用对象

此基准测试专为开发代理的 AI 研究人员，以及希望贡献真实工作场景任务以支持 AI 系统的科学领域专家而设计。

主要亮点

  • 专家策划：任务由五个广泛科学领域的专家撰写并评审。
  • 客观可验证：所有任务均能在终端环境中生成可验证的结果。
  • 社区驱动：拥有透明的任务提案、实现和评审流程。
  • 防污染机制：使用 Canary 字符串帮助训练数据流水线检测并排除基准数据，防止其进入训练语料库。

相关

  • 项目
    harbor-framework/terminal-bench

    Terminal-Bench 是一个持续基准测试，通过多样且不断演进的困难任务来衡量前沿 AI 代理的能力。

  • 项目
    InternLM/WildClawBench

    一种端到端的 agent 基准测试，通过使用浏览器和 bash terminal 等工具，在实时环境中测试 AI agent 执行复杂、真实世界任务的能力。

  • 项目
    AISBench/benchmark

    AISBench Benchmark 是一个开源评估框架，用于 LLM、多模态模型和 AI 代理。它支持对本地运行或服务化模型进行精度（使用多个公开数据集）和性能（延迟、吞吐量、缓存）测试，并新增了 Harbor 代理基准测试、前缀缓存压力测试和响应异常检测等近期功能。

  • 项目
    synthetic-sciences/openscience

    一个用于科学研究的开源 AI 工作台，可自动化研究循环，包括文献综述、编写代码和运行实验。

  • 项目
    zli12321/LHTB

    Long‑Horizon Terminal‑Bench (LHTB) 是一个 46 任务基准，用于衡量 LLM 代理在基于 Docker 的终端中持续工作数百步的能力。它提供了一个修补版的开源 Harbor 框架，增加了“持续到超时”循环和沙箱化验证器隔离，防止代理作弊。结果显示，当前前沿模型仅能解决少数任务，使 LHTB 成为评估自主 AI 代理的高难度、前沿级评测套件。