harbor-framework/terminal-bench-science

解决的问题

Terminal-Bench-Science 满足了在真实科学研究工作流程上对 AI 代理进行严格、专家策划评估的需求。它衡量了前沿 AI 代理在生命科学、物理科学、地球科学、数学和工程科学任务中的表现，让科学家在塑造 AI 进展中拥有直接发言权，并提供了一个随 AI 能力发展而演进的持续基准。

工作原理

该基准包含 71 个由专家撰写的任务（目标增长至 100 个以上），这些任务在终端环境中产生可客观验证的结果。任务经过结构化流程：专家提出想法、实施并提交拉取请求；自动化检查（静态验证、Docker 构建、oracle/no-op 运行、相似性检测、作弊试验和多代理试验）以及并行的领域和技术审查确保质量。系统通过 Harbor 框架运行代理，让用户能够针对任务测试特定代理和模型。排行榜、任务仪表板和带标签的发布跟踪性能和开发进展。

适用对象

适用于希望理解或改进代理在科学研究任务上表现的 AI 研究人员、模型开发者和科学家。也适用于各科学领域的领域专家，他们希望贡献自己的真实工作流程来引导 AI 发展。贡献流程明确邀请来自生命科学、物理科学、地球科学、数学和工程科学的研究人员参与。

亮点

• 涵盖五个主要科学领域的 71 个专家策划任务，配有公开排行榜和任务仪表板
• 社区驱动：专家提出、构建和审查任务，设有贡献征集和 Discord 频道
• 自动化质量保证，包括 Docker 构建、oracle/no-op 验证、相似性检查、作弊试验和多代理运行
• 持续基准，在 Harbor Hub 上提供带标签的发布版本和用于引用的 DOI
• 包含金丝雀字符串以防止训练数据污染并检测泄漏