microsoft/Orchard-Agentic

해결하는 문제

Orchard-Agentic은 "학습-배포 불일치" 문제와 에이전트 모델링을 위한 이식 가능한 인프라의 부족을 해결합니다. 표준화된 격리 환경을 제공하여 연구자들이 궤적 증류, 강화 학습(RL) 롤아웃, 그리고 다양한 도메인(소프트웨어 엔지니어링 및 웹 브라우징 등)에 걸친 평가를 수행할 때, 새로운 연구마다 환경을 재구축할 필요 없이 동일한 기반을 사용할 수 있도록 합니다.

작동 방식

이 프로젝트는 4개의 주요 계층으로 구성됩니다.

• Orchard Env: Kubernetes 네이티브 샌드박스 서비스 및 Python SDK입니다. REST API를 통해 다중 턴 상호작용(실행, 파일 I/O, git 패치)을 처리하기 위해 필요에 따라 격리된 컨테이너를 생성하며, 특정 에이전트 하네스나 트레이너에 구애받지 않습니다.
• Orchard Eval: Orchard Env 샌드박스를 사용하여 SWE-bench Verified와 같은 벤치마크에 대해 에이전트 하네스(예: codex, pi)를 실행하는 평가 계층입니다.
• Trainer: 실제 모델 최적화를 처리하는 강화 학습 학습 스택(slime의 포크 기반)으로, Ray 환경에서 Megatron-LM과 SGLang 롤아웃을 활용합니다.
• Recipes: Orchard-SWE(소프트웨어 엔지니어링), Orchard-GUI(브라우저 탐색), Orchard-Claw(CLI/도구 에이전트)와 같이 이 기반 위에 구축된 구체적인 연구 구현체입니다.

대상 사용자

에이전트 모델링을 연구하는 AI 연구원 및 개발자를 위해 설계되었으며, 특히 강화 학습(RL) 및 지도 미세 조정(SFT)을 통해 LLM이 도구를 사용하거나, 인터페이스를 탐색하거나, 복잡한 소프트웨어 엔지니어링 작업을 해결하도록 학습시키는 데 집중하는 분들을 위한 것입니다.

주요 특징

• 하네스 독립성(Harness-Agnostic): 모든 샌드박스의 PATH에 인기 있는 에이전트 하네스(codex, claude, pi 등)가 사전 설치되어 있어, 사용자가 간단한 명령 변경만으로 하네스를 전환할 수 있습니다.
• 고성능: 낮은 명령 실행 지연 시간(0.28s)을 제공하며, 수천 개의 샌드박스를 병렬로 실행하는 것을 지원합니다.
• 비용 효율성: 특히 스팟 인스턴스를 활용할 경우, 관리형 샌드박스 서비스보다 훨씬 저렴합니다.
• 방대한 데이터셋: 107K개의 SWE 궤적과 3,000개 이상의 멀티모달 브라우저 탐색 롤아웃을 포함한 오픈 소스 연구 데이터를 제공합니다.