harbor-framework/harbor

해결하는 문제

Harbor는 AI 에이전트와 언어 모델을 평가하고 최적화하는 표준화된 방법을 제공합니다. 복잡한 벤치마크 환경을 설정하는 번거로움을 제거하여 개발자들이 클라우드 기반의 다양한 데이터셋에서 다양한 에이전트(예: Claude Code 또는 OpenHands)를 격리된, 확장 가능한 환경에서 테스트할 수 있게 합니다.

작동 방식

Harbor는 에이전트와 모델을 특정 벤치마크 데이터셋에 연결하는 실행 환경으로 작동합니다. Docker를 사용해 로컬에서 이러한 환경을 시작하거나, Daytona, Modal, LangSmith와 같은 클라우드 제공업체를 통해 수천 개의 실험을 병렬로 실행할 수 있도록 확장할 수 있습니다. 또한 강화학습(RL) 최적화를 위한 롤아웃 생성도 지원합니다.

대상 사용자

AI 에이전트나 LLM을 개발하는 연구자 및 개발자 중 성능을 측정하고, 맞춤형 벤치마크를 구축하거나 RL 최적화를 위한 데이터를 생성해야 하는 사용자에게 적합합니다.

주요 기능

• 광범위한 에이전트 지원: Claude Code, OpenHands, Codex CLI 등 다양한 에이전트를 평가합니다.
• 대규모 병렬 처리: 다양한 클라우드 제공업체를 통해 수천 개의 환경에서 실험을 동시에 실행할 수 있습니다.
• 다중 모달 벤치마크: Terminal-Bench-2.0 공식 허니스이며, SWE-Bench 및 Aider Polyglot과 같은 다른 데이터셋도 지원합니다.
• RL 준비 완료: RL 최적화를 위한 롤아웃 생성이 가능합니다.