ZJU-REAL/SDAR

📚 SDARとは？

Self-Distilled Agentic Reinforcement Learning (SDAR) は、自己蒸留パラダイムを使用して、エージェント型強化学習（RL）エージェント（つまり、対話型環境で動作するLLM駆動のボット）をトレーニングできるオープンソースの研究フレームワークです。核となるアイデアは、「教師」モデルに軌跡を生成させ、ゲーティングメカニズムが教師の知識を保持するタイミングと、生徒が自分で探索するタイミングを決定しながら、「生徒」モデルにそれらの軌跡から学習させることです。リポジトリには、元のSDARアルゴリズムと、RetireOPD（自己退職型オンポリシー蒸留）と呼ばれる新しい変種が同梱されています。

🚀 主な機能（READMEに記載）

カテゴリ	コードがサポートするもの
手法	OP(S)D、GRPO、GRPO+OP(S)D、RLSD、Skill-SD、SDAR、RetireOPD
環境	ALFWorld（テキストベースの家事タスク）、WebShop（eコマースインタラクション）、Search-QA
モデルバックエンド	Qwen-3シリーズ、Qwen-2.5シリーズ（LLMチェックポイント）

ハイライト

ゲーティングメカニズム：自己蒸留を適用するタイミングと直接RL更新を適用するタイミングを決定します。
RetireOPDの2段階トレーニング：最初に教師をトレーニングし、生徒が学習を続けている間に教師を退職（段階的に廃止）させます。
広範なエコシステム – このリポジトリは、すでに多数のフォローアップペーパー（例：AlignOPSD、PR-OPD、UniOPSDなど）を支えています。
結果：3つのベンチマークでALFWorldで90％以上の成功率、WebShopで強力なパフォーマンスを示しています。

🛠️ はじめに

Python 3.12環境を作成し、コア依存関係（vllm、flash-attn、パッケージ自体）をインストールします。
トレーニング対象の環境をインストールします：
- ALFWorld – gymnasium、stable-baselines3、alfworld; 次に alfworld-download -f を実行します。
- WebShop – Python 3.10が必要です。agent_system/environments/.../webshop の setup.sh スクリプトに従ってください。
- Search-QA – 少数のパッケージをインストールし、faiss-gpu、fastapi などを含む別の retriever conda環境をセットアップします。

トレーニングスクリプトは examples/ にあります。コマンド例：

bash examples/sdar_trainer/run_alfworld_3b.sh   # SDAR on ALFWorld with a 3-B Qwen model
bash examples/retireopd_trainer/run_alfworld_3b.sh   # RetireOPD (two-stage)

チェックポイント処理 – scripts/model_merger.py を使用して、FSDP / Megatronシャードを単一のHugging Face互換チェックポイントにマージします。

📊 報告された結果

アルゴリズム	タスク	モデル	成功率
RetireOPD	ALFWorld	Qwen2.5-1.5B-Instruct	89.8 %
RetireOPD	ALFWorld	Qwen2.5-3B-Instruct	93.8 %
RetireOPD	ALFWorld	Qwen2.5-7B-Instruct	95.3 %
RetireOPD	WebShop	Qwen2.5-1.5B-Instruct	75.8 %
RetireOPD	WebShop	Qwen2.5-3B-Instruct	77.3 %
RetireOPD	WebShop	Qwen2.5-7B-Instruct	84.4 %

📚 引用方法

SDARまたはその派生物を使用する場合、READMEにコピー可能なBibTeXエントリが用意されています：

@article{lu2026sdar,
  title={Self-distilled agentic reinforcement learning},
  author={Lu, Zhengxi and …},
  journal={arXiv preprint arXiv:2605.15155},
  year={2026}
}

（関連作品の追加引用（Skill0、AgentOPSDなど）もリストされています。）

🎯 これが役立つ可能性のある人々

研究者：自分の経験から学習する必要のあるLLM駆動エージェントを探求している人。
エンジニア：テキストベースまたはWebベースのタスク用のRLパイプラインを構築し、既製の自己蒸留実装が必要な人。
学生：オンポリシー蒸留に関する最近の論文を結び付ける具体的なコードベースを探している人。

🔗 関連プロジェクト

READMEには「Awesome Work Powered by SDAR」セクションが長くリストされており、最近の多くの論文（例：AlignOPSD、PR-OPD、UniOPSD）がこのリポジトリをフォークまたは拡張していることが示されています。これらのプロジェクトは、専門的なバリアントを探索できます。

上記の情報はすべてリポジトリのREADMEから直接取得したものであり、外部の前提は追加されていません。