harbor-framework/harbor

何を解決するか

Harborは、AIエージェントおよび言語モデルを評価・最適化するための標準化された方法を提供します。ベンチマーク用の複雑な環境をセットアップする手間を省き、開発者が任意のエージェント（Claude Code や OpenHands など）を、隔離されスケーラブルな環境でさまざまなデータセットに対してテストできるようにします。

仕組み

Harborは、エージェントやモデルを特定のベンチマークデータセットに接続する実行ハッチとして機能します。Docker を使ってローカルで環境を起動したり、Daytona、Modal、LangSmith などのクラウドプロバイダーを活用して数千の実験を並列で実行できるようにスケーリングできます。また、強化学習（RL）最適化のためのロールアウト生成もサポートしています。

対象ユーザー

AIエージェントやLLMを開発・構築している研究者や開発者で、パフォーマンスを測定したい、カスタムベンチマークを構築したい、またはRL最適化用のデータを生成したい人向けです。

特徴

• 広範なエージェント対応: Claude Code、OpenHands、Codex CLI など、幅広いエージェントを評価可能。
• 大規模な並列処理: さまざまなクラウドプロバイダーを介して、数千の環境で同時に実験を実行可能。
• マルチモーダルベンチマーク: Terminal-Bench-2.0 の公式ハッチとして、SWE-Bench や Aider Polyglot などの他のデータセットもサポート。
• RL対応: RL最適化用のロールアウト生成が可能。