Hugging Face Deep RL 코스 유닛 2 파트 1: Q-러닝 개념 소개

TL;DR

Hugging Face가 Deep Reinforcement Learning 수업의 첫 번째 편을 공개했으며, 여기서는 value‑based methods의 이론, Bellman 방정식, 그리고 Monte‑Carlo와 Temporal‑Difference 학습의 차이를 다룹니다. 이는 앞으로 진행될 Q‑Learning 튜토리얼의 필수 기초가 됩니다.

What is Reinforcement Learning? – Core Idea

Reinforcement Learning (RL)은 agent가 환경과 상호작용하면서 rewards를 피드백으로 받고, maximize expected cumulative reward를 목표로 순차적인 결정을 학습하도록 합니다. 결정 규칙을 policy (π) 라 부르며, 이는 관측된 각 상태를 행동(또는 행동에 대한 확률 분포)으로 매핑합니다. 궁극적인 목표는 optimal policy π* 를 찾아 가능한 가장 높은 기대 반환을 얻는 것입니다.

RL 방법은 크게 두 가지 패밀리로 나뉩니다:

  • Policy‑based methods: 정책 파라미터를 직접 최적화합니다.
  • Value‑based methods: value function을 학습해 상태(또는 상태‑행동 쌍)의 가치를 추정하고, 그 함수로부터 정책을 도출합니다(보통 greedy 혹은 ε‑greedy 정책).

이 글에서는 value‑based 측면에 초점을 맞춥니다.

Two Types of Value‑Based Functions

State‑Value Function (V)

정책 π 하에서의 상태‑가치 함수는 다음과 같이 정의됩니다:

V^{π}(s) = \mathbb{E}_{π}[ \sum_{k=0}^{\infty} \gamma^{k} R_{t+k+1} \mid S_t = s ]

이는 agent가 상태 s에서 시작하고 이후 π를 따를 때 기대되는 할인된 반환을 나타냅니다.

Action‑Value Function (Q)

행동‑가치 함수는 V를 상태‑행동 쌍으로 확장한 형태입니다:

Q^{π}(s, a) = \mathbb{E}_{π}[ \sum_{k=0}^{\infty} \gamma^{k} R_{t+k+1} \mid S_t = s, A_t = a ]

이는 agent가 상태 s에서 시작해 행동 a를 취하고 그 뒤에 π를 따를 때 기대되는 반환을 측정합니다.

두 함수 모두 expected returns를 나타내지만, Q는 value‑based 알고리즘에서 greedy action selection에 필요한 세밀함을 제공합니다.

The Bellman Equation – Recursive Value Estimation

모든 가능한 미래 경로를 열거해 V 혹은 Q를 계산하는 것은 현실적으로 불가능합니다. Bellman equation은 재귀적인 대안을 제공합니다:

V^{π}(s) = R_{t+1} + \gamma \; V^{π}(s')

여기서 s'는 π가 제시한 행동을 취한 뒤 도달하는 다음 상태입니다. Q‑값에 대해서는 재귀식이 다음과 같이 됩니다:

Q^{π}(s, a) = R_{t+1} + \gamma \; \mathbb{E}_{s'}[ \max_{a'} Q^{π}(s', a') ]

본문의 단순화된 예시에서는 할인 계수 γ를 1로 두었으므로 Bellman 업데이트는 즉시 보상 + 다음 상태의 가치로 축소됩니다. 이 재귀식이 Monte‑Carlo와 Temporal‑Difference 학습 모두의 기반이 됩니다.

Monte‑Carlo vs. Temporal‑Difference (TD) Learning

두 방법 모두 경험을 활용해 가치 추정을 업데이트하지만, 업데이트 시점과 방법에서 차이가 있습니다.

Monte‑Carlo (MC) Learning

  • When? 전체 에피소드가 끝난 뒤.

  • How? 각 방문한 상태에 대해 return G_t = \sum_{k=t}^{T} \gamma^{k-t} R_{k+1} 를 계산하고 이를 목표값으로 사용합니다:

    V(s) \leftarrow V(s) + \alpha [ G_t - V(s) ]

  • Pros: 실제 할인된 반환을 사용하므로 부트스트래핑에 의한 편향이 없음.

  • Cons: 전체 에피소드가 필요하고, 분산이 크며, 정보 전파가 느림.

Temporal‑Difference (TD) Learning

  • When? 매 단계마다.

  • How? 즉시 보상과 다음 상태 가치에 대한 현재 추정치를 이용해 TD target을 만듭니다:

    V(s) \leftarrow V(s) + \alpha [ R_{t+1} + \gamma V(s') - V(s) ]

  • Pros: 온라인 업데이트, 분산이 낮고 학습이 빠름.

  • Cons: 현재 V(s') 추정치에 의존하므로 부트스트래핑으로 인한 편향이 존재.

본문에서는 학습률 α = 0.1, γ = 1 인 간단한 그리드‑월드 마우스 예시를 통해 두 접근법을 단계별로 계산하는 과정을 보여줍니다.

Summary of Key Takeaways

  • Value‑based RL은 기대 반환을 예측하는 함수(V 또는 Q)를 학습하고, 그 함수로부터 정책을 도출합니다(예: greedy 혹은 ε‑greedy).
  • **State‑value (V)**는 상태를 평가하고, **action‑value (Q)**는 상태‑행동 쌍을 평가하여 직접적인 행동 선택을 가능하게 합니다.
  • Bellman equation은 exhaustive한 합산을 간단한 업데이트(즉시 보상 + 할인된 다음 상태 가치)로 대체하는 재귀적 공식입니다.
  • Monte‑Carlo는 전체 에피소드 후에 실제 반환을 사용해 업데이트하고, TD learning은 매 단계마다 부트스트래핑된 추정치를 사용해 업데이트합니다.
  • 이러한 개념들을 숙달하는 것은 Q‑Learning(Atari 게임에서 인간 수준 성능을 달성한 최초의 딥 RL 알고리즘)을 배우기 전에 필수적입니다.

Next Steps in the Course

이 글은 두 번째 파트에서 Q‑Learning을 다루고, 두 환경에서 실습 구현을 제공할 것이라고 안내합니다:

  1. FrozenLake‑v1 (non‑slippery) – 시작점(S)에서 목표(G)까지 구멍(H)을 피하며 이동.
  2. Taxi‑v3 – 격자 도시에서 승객을 목적지로 운송.

학생들은 포스트에 포함된 퀴즈로 이해도를 테스트하고, Google Form을 통해 피드백을 제공하도록 권장됩니다.

계속 학습하고, 멋진 하루 보내세요!

Sources