자기 개선 AI 에이전트를 위한 훈련 시간 스케일링과 강화 학습 스케일링

훈련 시간 스케일링 개요

훈련 시간 스케일링의 핵심 아이디어는 모델의 자체 출력을 사용하고, 정확도로 필터링한 후, 그 필터링된 출력으로 모델을 미세 조정하여 모델 매개변수 대신 계산을 대체하는 것입니다.これにより 생성된 솔루션이 검증되고, 정확하면 유지되어 모델을 더욱 개선하는 데 사용되는 루프가 생성됩니다. 이 루프는 수학적 추론이나 코드 실행과 같이 최종 답을 자동으로 확인할 수 있는 강력한 검증기가 있는 도메인에서 가장 효과적으로 작동합니다.

STaR: 이유 사슬 부트스트래핑

STaR (Self‑Taught Reasoner)는 질문‑이유‑답변 예제의 작은 집합으로 시작하여 더 큰 질문 집합에 대한 답변을 생성하고, 정확한 답변만을 유지하며, 오답 시도에 정답을 힌트로 제공하고 모델에게 이유를 생성하도록 요청함으로써 이유 사슬을 부트스트래핑합니다. 그런 다음 모델은 수집된 이유와 답변으로 미세 조정되고, 이 과정은 반복적으로 반복될 수 있습니다. 전사에서 언급한 바와 같이, "STaR이 가진 핵심 통찰은 매우 간단합니다"—최종 답의 정확성을 추론 품질의 프록시로 간주하고, 답을 힌트로 제공했을 때 모델이 유효한 이유를 생성할 수 있다고 가정합니다. GPT‑J (6 B)에서의 실험은 CommonsenseQA에서의 성능 향상(표준 지도 미세 조정에 필요한 데이터의 86 %만 사용하면서 72.5 % 정확도 달성)을 보였지만, 좋은 데이터로 직접 미세 조정한 경우와 유사하게 GSM8K에서는 거의 향상이 없었습니다. STaR은 완전한 강화 학습 방법이 아니기 때문에 몇 번의 반복 후 정체됩니다.

DeepSeekMath와 GRPO

DeepSeekMath는 코드 사전 훈련된 모델로부터 시작하여 Common Crawl (OpenWebMath)에서 수학 데이터를 큐레이션하고 Group Relative Policy Optimization (GRPO)를 적용함으로써 수학적 추론에 대한 강화 학습을 확장합니다. GRPO는 PPO에서 사용되는 비판가와 가치 함수를 그룹 기반 우위 추정으로 대체합니다: 각 질문에 대해 많은 답변을 샘플링하고, 보상 모델로 점수를 매긴 후, 우위는 (보상 − 평균 보상) / 표준편차 보상으로 계산됩니다.これにより PPO에 필요한 네 개 대신 세 개의 모델 복사본만 필요해 메모리 효율성이 높아집니다. 더 간단한 수학 벤치마크 (AIME 아님)에서 DeepSeekMath는 7 B 모델을 사용하여 정확도를 46.8 %에서 51.7 %로 끌어올렸습니다. 향상은 majority‑at‑K 지표에서 나타났으며, pass‑at‑K는 증가하지 않아 근본적인 문제 해결 능력의 도약보다는 일관성 향상을 나타냅니다.

DAPO: 긴 추론에 대한 RL 안정화

DAPO는 긴 사슬‑of‑thought 추론에 GRPO를 적용할 때 발생하는 세 가지 불안정성 문제—엔트로피 붕괴, 제어되지 않은 응답 길이, 노이즈가 있는 잘린 출력—을 해결합니다. 비대칭 클리핑(PPO 클리핑에서 감소보다 증가를 더 크게 허용), 동적 샘플링(모든‑0 또는 모든‑1 보상을 가진 그룹을 필터링하여 유용한 그래디언트 신호 유지), 토큰‑레벨 손실(시퀀스당 동등하게 취급하는 대신 토큰 수로 손실에 가중치 부여), 그리고 과도한 토큰에 대한 점진적 페널티(제어되지 않은 생성을 억제)를 도입합니다. Qwen‑32B 모델을 사용한 AIME 벤치마크에 적용했을 때, 기본 GRPO는 약 30 % 정확도를 보였으며, 과도한 길이 필터링을 추가하여 36 %, 비대칭 클리핑으로 38 %, 소프트 과도한 길이 페널티로 41 %, 토큰‑레벨 손실로 42 %, 동적 샘플링으로 약 50 %까지 상승했습니다. 이전 방법과 마찬가지로 향상은 pass‑at‑K가 아닌 majority‑at‑K 성능에서 나타났습니다.

AIME 및 추론 벤치마크에서의 결과

강연은 전통적인 매개변수 스케일링 관점과 훈련 시간 스케일링 결과를 대조합니다: 175 B 파라미터 모델(GPT‑3.5)은 AIME에서 약 5 %만을 기록하는 반면, DeepSeekMath로 훈련된 7 B 모델은 51.7 %(추가 트릭으로 최대 60 %)에 도달하고, DAPO로 훈련된 32B 모델은 약 50 %에 도달합니다. 이러한 결과는 모델 크기 대신 생성 및 필터링된 추론 흔적에 계산을 투자함으로써 대체할 수 있음을 보여주지만, 주요 효과는 이전에 해결할 수 없었던 문제를 해결하는 능력(pass‑at‑K)이 아니라 여러 샘플 간의 일관성 향상(majority‑at‑K 증가)입니다.

열린 질문과 제한 사항

강연은 여러 가지 열린 연구 방향과 함께 마무리됩니다: 왜 majority‑at‑K는 향상되지만 pass‑at‑K는 향상되지 않는가; 실패한 시도에서 필터링하지 않고 배우는 방법은 무엇인가; 데이터가 부족할 때 충분한 검증 신호를 어떻게 얻을 수 있는가(예: 검증기 앙상블 사용); 그리고 STaR‑스타일 이유 생성과 DAPO‑스타일 RL 안정화를 결합하여 추가적인 향상을 얻을 수 있는가. 또한 훈련 시간 스케일링이 여전히 강한 보상 신호와 검증기에 의존하며, 알려진 형식에서의 일관성 향상 이외에 완전히 새로운 문제 유형으로 일반화하도록 모델을 가르치지 못한다는 점도 언급됩니다.