전이적 RL: 분할 정복을 통한 오프-폴리시 RL 확장

BAIR는 **전이적 RL(TRL)**을 도입했습니다. 이는 기존의 시간 차이(TD) 학습을 '분할 정복' 패러다임으로 대체하는 새로운 강화 학습 알고리즘입니다. 이 접근법은 벨만 재귀 횟수를 선형이 아닌 로그적으로 줄여 오프-폴리시 RL을 복잡하고 장시간 작업으로 확장함으로써 n단계 하이퍼파라미터 튜닝의 필요성을 제거합니다.

오프-폴리시 RL의 확장성 도전

오프-폴리시 RL은 데이터 수집이 비용이 많이 드는 분야, 예를 들어 로봇공학, 의료, 대화 시스템에서 중요합니다. 이는 과거 경험과 인간 시연을 포함한任何 데이터를 사용할 수 있기 때문입니다. 그러나 현재 가치 학습 패러다임의 한계로 인해 오프-폴리시 RL을 장시간 작업으로 확장하는 것은 여전히 어렵습니다.

시간 차이(TD) 학습: 전통적인 Q-learning은 부트스트래핑에 의존하며, 다음 값 $Q(s', a')$의 오류가 현재 값 $Q(s, a)$로 전파됩니다. 이러한 오류는 전체 horizon에 걸쳐 누적되어 확장성을 저해합니다.
몬테카를로(MC) 수익: n단계 TD 학습(TD-n)은 상수 인수 $n$만큼 벨만 재귀를 줄이지만, 오차 누적을根本적으로 해결하지는 않습니다. 편차를 줄이기 위해 $n$을 늘리면 종종 높은 분산과 하위 최적성을 초래하며, 이에 따라 각 작업마다 신중한 튜닝이 필요합니다.

분할 정복 패러다임

전이적 RL은 trajectory를 두 개의 동일한 길이의 세그먼트로 나누고 그들의 값을 결합하여 전체 trajectory의 값을 업데이트하는 세 번째 패러다임을 도입합니다. 이 방법은 벨만 재귀 횟수를 로그적으로 줄여 순수 몬테카를로 방법의 높은 분산과 n단계 TD의 튜닝 요구를 피합니다.

목표 조건부 RL에의 적용

TRL은 목표 조건부 RL에 특화되어 구현되며, 여기서 목표는 어떤 상태에서든 다른 어떤 상태로 도달할 수 있는 정책을 학습하는 것입니다. 이 설정은 최단 경로 거리 $d^*(s, g)$의 삼각 부등식을 기반으로 한 자연스러운 구조를 제공합니다.

$$d^(s, g) \le d^(s, w) + d^*(w, g)$$

인 terms of value functions $V$ for sparse rewards, this translates to a "transitive" Bellman update rule:

$$V(s, g) \leftarrow \begin{cases} \gamma^0 & \text{if } s=g \ \gamma^1 & \text{if } (s, g) \in E \ \max_{w \in S} V(s, w)V(w, g) & \text{otherwise} \end{cases}$$

이 규칙은 $V(s, w)$와 $V(w, g)$라는 두 개의 더 작은 값을 사용하여 $V(s, g)$의 값을 업데이트할 수 있게 하며, 여기서 $w$는 최적의 중간점 또는 서브골입니다.

TRL의 실제 구현

연속 환경과 큰 상태 공간에서 분할 정복 가치 학습을 실용적으로 만들기 위해, TRL은 최적의 서브골 $w$를 찾는 문제에 대한 두 가지 핵심 기술적 솔루션을 사용합니다:

제한된 검색 공간: 전체 상태 공간을 검색하는 대신, TRL은 $s$와 $g$ 사이의 데이터셋 trajectory에 나타나는 상태들로 $w$의 검색을 제한합니다.
익스펙타일 회귀: $\max$ 연산자로 인해 일반적으로 발생하는 가치 과대평가를 방지하기 위해, TRL은 익스펙타일 회귀를 통해 '소프트' argmax를 사용합니다. 알고리즘은 다음 손실을 최소화합니다:

$$\mathbb{E}[\ell_{2\kappa}(V(s_i, s_j) - \bar{V}(s_i, s_k)\bar{V}(s_k, s_j))]$$

여기서 $\bar{V}$는 목표 가치 네트워크이고, $\ell_{2\kappa}$는 expectile $\kappa$를 가진 익스펙타일 손실로, 샘플링된 trajectory 내의 모든 튜플 $(s_i, s_k, s_j)$에 대해 $i \le k \le j$를 만족하는 경우에 계산됩니다.

성능 및 벤치마크

TRL은 오프라인 목표 조건부 RL을 위한 OGBench 벤치마크에서 평가되었으며, 특히 1B 규모의 데이터셋과 최대 3,000 환경 단계까지의 horizons를 가진 humanoidmaze와 puzzle 작업의 가장 어려운 버전에 중점을 두었습니다.

베이스라인 대비 우수성: TRL은 대부분의 작업에서 TD, MC, quasimetric 학습 카테고리의 강력한 베이스라인을 초과했습니다.
하이퍼파라미터 튜닝 제거: TRL은 사용자가 $n$의 값을 지정하지 않아도 모든 작업에서 개별적으로 튜닝된 최고의 n단계 TD 학습(TD-n)의 성능과 일치했습니다.

미래 방향

현재 TRL은 결정론적 동역학을 가정하지만, BAIR는 미래 개발을 위한 여러 경로를 제시합니다:

일반화: 목표 조건부 설정을 넘어 일반 보상 기반 RL 작업으로 TRL을 확장합니다.
확률성: 확률적 환경과 부분 관측성을 처리하도록 알고리즘을 적응시킵니다. 잠재적으로 '확률적' 삼각 부등식을 사용할 수 있습니다.
최적화: 동일한 trajectory를 넘어 서브골 후보 선택을 개선하고 훈련을 더욱 안정화합니다.