walkinglabs/hands-on-modern-rl

🚀 An open-source, hands-on curriculum bridging the gap from basic RL concepts to LLM alignment, RLVR, and advanced Agentic systems.

解決する課題

強化学習（RL）は、古典的なトピックと現代的なトピックに分かれていることが多く、それらの関連性を理解しにくいという問題があります。このコースは、基本的な相互作用（CartPoleなど）からポリシー最適化（PPO）、言語モデルのための現代的手法（RLHF、DPO、GRPO）、エージェントAIに至る単一の経路を提供し、同じアイデアが古典的なゲームと最先端のAIシステムの両方を支えることを学習者が理解できるようにします。

仕組み

教材は、古典的および深層RL（第1〜12章）と、現代RLおよびエージェントAI（第13〜26章）の2部構成です。各章は、問題→方法→実験→振り返りのリズムに従います。具体的なタスクが難しさを明らかにし、必要な概念と式が導入され、実行可能なコードと学習曲線が主張を検証し、章の最後に仮定と失敗モードを検討します。また、14の自己完結型ノートブックと、ModelScope上の12のStudioコンパニオンを提供し、学習者はローカル設定なしでブラウザ上で実験を実行できます。

対象読者

RLの基礎を理解し、それを現代のAIに応用したい学習者向けに設計されています。学生、研究者、実務者を含みます。ある程度のプログラミング（例ではPython）と、数学とコードに取り組む意欲を前提としています。

ハイライト

CartPoleからエージェントAIまでの単一の学習経路、全26章。
式は実装の隣にあり、すべてのテンソルが説明されています（PPO、DPO、GRPO）。
実際の学習曲線、アブレーション、失敗シグナルが、アルゴリズムが機能するときとしないときを示します。
実践的な例には、CartPole、Atari Pong、LunarLander、DPOファインチューニング、RLによるコード生成、Deep Researchエージェント、視覚的推論（GeoQA）が含まれます。
ModelScopeのオンラインStudio環境とノートブックにより、ブラウザで古典的なRL実験をトレーニングできます。
トピックは、RLHF、DPO、GRPO、検証可能な報酬による強化学習（RLVR）、エージェントAI、マルチモーダル/身体化RLをカバーしています。