microsoft/Orchard

何を解決するか

Orchardは、AIエージェントの研究とトレーニングのための、標準化されたスケーラブルな環境を提供します。これは、エージェントが現実世界のデプロイメント・ハーネスに移行できない簡略化された環境でトレーニングされるという「トレーニングとデプロイのミスマッチ」に対処します。安定したKubernetesネイティブなサンドボックス・サービスを提供することで、研究者はソフトウェアエンジニアリング、ブラウザ操作、パーソナルアシスタントなどの異なるドメイン間で移植可能な「レシピ」（SFTおよびRLトレーニング手法）を開発できるようになります。

どのように機能するか

フレームワークは主に3つのレイヤーに分かれています：

1. Orchard Env: 隔離されたコンテナのライフサイクルを管理するKubernetesネイティブなサンドボックス・サービスです。コマンド実行、ファイルI/O、およびネットワーク隔離のためのREST APIとPython SDKを提供し、エージェントが特定のトレーニング・スタックを必要とせずにサンドボックスと対話することを可能にします。
2. Trainer: エージェントのポリシーを最適化するために使用されるRLトレーニング・スタック（slimeライブラリのフォーク）です。
3. Recipes: 特定のタスクのためにエージェントをトレーニングするために基盤を利用する、具体的な研究実装（例：Orchard-SWE、Orchard-GUI、Orchard-Claw）であり、on-policy distillationやprocess rewardsなどの手法を使用します。

対象者

エージェント・モデリング、強化学習（RL）、およびソフトウェアやウェブ環境における複雑なマルチターン対話が可能な自律型エージェントの作成に焦点を当てているAI研究者および開発者。

ハイライト

• 高性能: 低いコマンド実行レイテンシ（0.28s）と、1,000個のサンドボックスを並列に起動する能力。
• Harness-Agnostic: すべてのサンドボックスに人気の高いエージェント・ハーネス（codexやclaudeなど）を事前インストールしており、それらの切り替えが容易です。
• マルチモーダル対応: ソフトウェアエンジニアリング（SWE）とマルチモーダルなブラウザ操作（GUI）タスクの両方のデータセットを含んでいます。
• Crossover Generalization: Orchard Envでトレーニングされたエージェントは、トレーニング中に見られなかったハーネスに転送された際に、より優れたパフォーマンスを示します。
• コスト効率: 管理型サンドボックス・サービスと比較して、特にスポットインスタンスを使用する場合に、大幅に安価です。