harbor-framework/harbor

它解决了什么问题

Harbor 提供了一种标准化的方法来评估和优化 AI 代理和语言模型。它消除了为基准测试设置复杂环境的障碍，使开发者能够在隔离且可扩展的环境中，测试任意代理（如 Claude Code 或 OpenHands）与各种数据集的性能。

它如何工作

Harbor 作为一个执行框架，将代理和模型连接到特定的基准数据集。它可以在本地使用 Docker 启动这些环境，也可以通过 Daytona、Modal 和 LangSmith 等云服务提供商进行扩展，以并行运行数千次实验。它还支持为强化学习（RL）优化生成回放数据。

适用人群

专为需要衡量性能、构建自定义基准或生成 RL 优化数据的研究人员和开发者设计，适用于构建 AI 代理或 LLM 的用户。

主要亮点

• 广泛的代理支持：支持评估多种代理，包括 Claude Code、OpenHands 和 Codex CLI。
• 大规模并行：通过多种云服务提供商，支持在数千个环境中同时运行实验。
• 多模态基准测试：官方支持 Terminal-Bench-2.0，并兼容 SWE-Bench 和 Aider Polyglot 等其他数据集。
• 支持强化学习：能够生成用于 RL 优化的回放数据。

一个用于评估和优化 AI 代理和语言模型的框架，通过在可扩展的隔离容器环境中运行它们来实现。 — @handle