walkinglabs/hands-on-modern-rl

해결하는 문제

강화 학습(RL)은 종종 고전적 주제와 현대적 주제로 나뉘어 있어 서로 어떻게 연결되는지 파악하기 어렵습니다. 이 강좌는 기본 상호작용(CartPole 등)에서 정책 최적화(PPO), 언어 모델을 위한 현대적 방법(RLHF, DPO, GRPO), 에이전트 AI에 이르는 단일 경로를 제공하여, 학습자가 동일한 아이디어가 고전 게임과 최첨단 AI 시스템 모두를 어떻게 구동하는지 이해할 수 있게 합니다.

작동 방식

자료는 고전 및 심층 RL(112장)과 현대 RL 및 에이전트 AI(1326장)의 두 부분으로 구성됩니다. 각 장은 문제-방법-실험-반성의 흐름을 따릅니다. 구체적인 작업이 어려움을 드러내고, 필요한 개념과 방정식이 소개되며, 실행 가능한 코드와 훈련 곡선이 주장을 검증하고, 장은 가정과 실패 모드를 검토하며 끝납니다. 또한 14개의 독립적인 장 노트북과 ModelScope의 12개 Studio 컴패니언을 제공하여 학습자가 로컬 설정 없이 브라우저에서 실험을 실행할 수 있습니다.

대상 독자

RL 기초를 이해하고 이를 현대 AI에 적용하려는 학습자를 위해 설계되었습니다. 학생, 연구자, 실무자를 포함합니다. 어느 정도의 프로그래밍(예제는 Python)과 수학과 코드를 다룰 의지를 가정합니다.

하이라이트

• CartPole에서 에이전트 AI까지의 단일 학습 경로, 총 26장.
• 방정식은 구현 옆에 있으며 모든 텐서가 설명됩니다(PPO, DPO, GRPO).
• 실제 훈련 곡선, 절제 실험, 실패 신호가 알고리즘이 작동할 때와 그렇지 않을 때를 보여줍니다.
• 실습 예제에는 CartPole, Atari Pong, LunarLander, DPO 미세 조정, RL을 이용한 코드 생성, Deep Research 에이전트, 시각적 추론(GeoQA)이 포함됩니다.
• ModelScope의 온라인 Studio 환경과 노트북을 통해 브라우저에서 고전 RL 실험을 훈련할 수 있습니다.
• 주제는 RLHF, DPO, GRPO, 검증 가능한 보상 강화 학습(RLVR), 에이전트 AI, 멀티모달/구현 RL을 다룹니다.