microsoft/Orchard-Agentic

解決する課題

Orchard-Agentic は、「学習とデプロイの不一致」および代理モデリングのためのポータブルなインフラストラクチャの欠如という問題に対処します。標準化された隔離環境を提供することで、研究者は軌道蒸留、強化学習 (RL) ロールアウト、および異なるドメイン（ソフトウェアエンジニアリングやウェブブラウジングなど）にわたる評価において、新しい研究のたびに環境を再構築することなく、同じ基盤を利用できるようになります。

仕組み

このプロジェクトは4つの主要なレイヤーで構成されています。

• Orchard Env: Kubernetesネイティブなサンドボックスサービスおよび Python SDK。REST API を介してマルチターン対話（実行、ファイル I/O、git パッチ）を処理するために、オンデマンドで隔離されたコンテナを起動します。特定のエージェントハーネスやトレーナーに依存しません。
• Orchard Eval: Orchard Env サンドボックスを使用して、SWE-bench Verified などのベンチマークに対してエージェントハーネス（例: codex, pi）を実行する評価レイヤー。
• Trainer: 実際のモデル最適化を処理する強化学習トレーニングスタック（slime のフォークに基づく）。Ray 上で Megatron-LM と SGLang ロールアウトを利用します。
• Recipes: Orchard-SWE（ソフトウェアエンジニアリング）、Orchard-GUI（ブラウザナビゲーション）、Orchard-Claw（CLI/ツールエージェント）など、この基盤の上に構築された具体的な研究実装。

対象ユーザー

代理モデリングに取り組む AI 研究者や開発者、特に強化学習 (RL) や教師あり微調整 (SFT) を通じて、ツールを使用したり、インターフェースを操作したり、複雑なソフトウェアエンジニアリングのタスクを解決したりする LLM のトレーニングに注力している方向けに設計されています。

ハイライト

• ハーネス非依存: 各サンドボックスの PATH に一般的なエージェントハーネス（codex, claude, pi など）をプリインストールしており、コマンドを変更するだけでハーネスを切り替え可能です。
• 高性能: 低いコマンド実行レイテンシ (0.28s) を実現し、数千のサンドボックスを並列で起動することをサポートします。
• コスト効率: 特にスポットインスタンスを利用する場合、マネージドサンドボックスサービスよりも大幅に安価です。
• 広範なデータセット: 107K の SWE 軌道や 3,000 以上のマルチモーダルブラウザナビゲーションロールアウトを含む、オープンソースの研究データを提供します。