alessiodm/drl-zh

解決する課題

強化学習（RL）について読むのは簡単ですが、実際にアルゴリズムを動かすのは難しいものです。このプロジェクトは、そのギャップを実践的な道に変えます。教科書の説明に従うだけでなく、自分でアルゴリズムを構築することで学べます。構造化されたコースを提供し、各主要なアイデアには演習ノートと、行き詰まったときに確認できる完全な解答が付属しています。

仕組み

このコースは、00から18までの番号が付けられた一連のJupyterノートで構成され、基礎、仮定の打破、計画、現代のAIスタック、本番、ワールドモデル、メタ+まとめなどのトラックにグループ化されています。ルートノートには、コードが意図的に削除されたガイド付きのTODOセクションが含まれています。solution/フォルダには、完全で実行可能なバージョンが含まれており、いつでも自分を解放できます。Dockerワークスペースには、必要なものがすべてバンドルされています（code-server、Python 3.13、Jupyter、依存関係、およびオプションのDRL-ZH AI Companion（VS Code拡張機能で、ネタバレではなくソクラテス的ヒントを提供し、テキストまたは音声入力に対応））。手動の手順を使用してネイティブにセットアップすることもできます。

対象読者

このコースは、Pythonに精通し、PyTorchの基本を理解し、通常のML数学の背景（確率、統計、線形代数、微分）を持つ人向けに作られています。ノートはRLを教えますが、実際のトレーニングコードを読んで修正できることを前提としているため、事前に構築されたデモを消費するのではなく、自分でコードを書きたい学習者向けです。

ハイライト

• MDPや表形式RLからDQN、PPO、SAC、AlphaZero、RLHF、Decision Transformers、Dreamerまで、18以上のノートにわたるRLアルゴリズムを構築します。
• ガイド付きTODOと完全な解答を備えた演習を、自己ペースで進められるように別のノートで提供します。
• オプションのAI Companion（VS Code拡張機能）は、テキストまたは音声でソクラテス的ヒントを提供し、Gemini（デフォルト）、OpenAI、Anthropic、またはGroqをサポートします。
• Dockerベースのセットアップにより、GPUおよびCPUバリアントで再現可能な環境を保証し、ネイティブセットアップパスも提供します。
• TensorBoard、チェックポイント、デバッグ、複数シード、Ray、Optunaなどの本番プラクティスをカバーしています。