XiaoRed5/Agentic-RL-Most-Detailed-Intro

何を解決するか

Agentic RL（ツールを使用し行動を起こすAIエージェントのための強化学習）の学習を始めるのは、優れた資料が散在しており、コード例が玩具レベルであることが多く、論文の理解が難しいため、混乱を招きがちです。このプロジェクトは、RL実験を比較するための可視化ダッシュボード、Agentic RLの実行可能な実装、そして基礎概念と最近の業界モデルの両方に関する厳選された技術ノートという、実用的な知識を一箇所に集約しています。

仕組み

このリポジトリは、3つの補完的なパートで構成されています。

第一に、Agent Forge は可視化プロジェクトです。2組のAgent/RL実験を取得し、その学習トレンド、オフライン評価結果、ツール呼び出しコスト、証拠の強度を1つのインタラクティブなダッシュボードにまとめることができます。使用ガイドに従い、サンプルデータテンプレートをダウンロードして開始できます。

第二に、agentic-tau-rl はコード中心の実践的なプロジェクトです。マルチターン・ロールアウト、クレジット割り当て、ポリシー最適化、行動形成をカバーする、実行可能でテスト可能なAgentic RLの実装を提供します。また、オフライン検証から実際のモデルでのトレーニングへ移行する方法を説明する技術レポートと移行ガイドも含まれています。

第三に、技術論文読解セクションは、Agentic RLの基礎、クレジット割り当て、Transformerアーキテクチャ、マルチターン・ツール呼び出し、そしてLongCat、GLM、Kimiといった特定のモデルの分析をカバーするオンライン記事のセットです。これらはウェブサイトとして公開されており、リンクはREADMEに記載されています。

美团 LongCat で基盤モデルの事前学習とコードエージェントのトレーニングに携わっている著者が、キャリアのアドバイスを共有し、GitHub issues を通じた貢献や質問を歓迎しています。

対象読者

LLM基盤モデルの分野に参入したい人、特にAgentic RL、ツール使用エージェント、またはモデルのポストトレーニングに関心のある人を対象としています。学生、分野転換を目指すエンジニア、具体的なコードや厳選された読書資料を探している実務者にとって有用です。

ハイライト

• 2つのRL実験を並べて比較できるインタラクティブなダッシュボード（学習トレンド、オフライン評価、ツール呼び出しコスト、証拠）。
• ロールアウト、クレジット割り当て、ポリシー更新などの重要な段階をカバーする、実行可能でテスト可能なAgentic RLコード。
• オフライン検証から実際のモデルトレーニングへの実用的な移行ガイド。
• Agentic RLの基礎と最近の業界モデル（GLM、Kimi、LongCat）の分析に関する、増加中の技術記事セット。
• GitHub issues を通じた貢献や質問を歓迎。