제로 미스매치, 단순한 비동기 RL: REINFORCE Zero, DeepSeek-V4.1 및 Kimi K3.1

커널 정렬을 통한 비동기 RL

비동기 강화 학습(RL)은 롤아웃(rollout)과 학습자(learner) 프로세스를 동시에 실행할 수 있어 상당한 속도 이점을 제공하지만, 전통적으로 가중치 지연(weight lag)과 커널 미스매치(kernel mismatch) 문제로 어려움을 겪어왔습니다. vLLM 팀은 NVIDIA Research 및 Inferact와 협력하여 커널 미스매치를 제거함으로써 비동기 RL을 안정화하는 방법인 REINFORCE Zero를 도입했습니다. 롤아웃과 학습자가 동일한 가중치와 토큰에 대해 동일한 로그 확률(logprobs)을 계산하도록 보장함으로써, 복잡한 거부 게이트나 절단(truncation) 없이 단순하고 클리핑되지 않은 중요도 샘플링(IS)을 사용하여 남은 가중치 지연을 수정할 수 있습니다.

로그 확률 격차의 두 가지 원인

롤아웃과 학습자 로그 확률 사이의 격차는 두 가지 별개의 구성 요소로 이루어집니다:

가중치 지연(Weight Lag): 이는 학습자가 이전 모델 버전에서 생성된 샘플에 대해 업데이트를 수행하기 때문에 발생합니다. 이 격차는 시간이 지남에 따라 부드럽게 변하며 중요도 샘플링에 의해 효과적으로 관리됩니다.
커널 미스매치(Kernel Mismatch): 이는 배치 구성이나 실행 방식의 차이로 인해 롤아웃과 학습자가 동일한 가중치에 대해 서로 다른 수치 결과를 계산할 때 발생합니다. 가중치 지연과 달리 이는 크게 변동하며 IS에도 불구하고 지속되어 학습 불안정을 초래합니다.

커널을 정렬함으로써 커널 미스매치 항은 0으로 줄어듭니다. 이를 통해 클리핑되지 않은 IS는 샘플이 학습자의 현재 상태보다 64버전 이전의 가중치로 생성될 수 있는 lag 64와 같은 높은 정책 지연에서도 안정적인 학습을 유지할 수 있습니다.

REINFORCE Zero 방법론

REINFORCE Zero는 RL 학습 루프를 세 가지 핵심 단계로 단순화합니다:

커널 정렬(Kernel Alignment): 롤아웃 엔진과 학습자가 동일한 입력에 대해 비트 단위로 동일한 로그 확률을 생성하도록 보장합니다.
클리핑되지 않은 토큰 단위 IS: 절단이나 필터링 없이 학습자 확률과 롤아웃 확률의 비율을 가중치로 직접 사용합니다.
단순 REINFORCE 최적화: 그룹의 평균 보상을 기반으로 이점을 계산하고 응답 내 토큰을 평균화하여 별도의 가치 모델이나 거부 게이트가 필요하지 않습니다.

이 접근 방식은 20,000번의 업데이트 동안 안정성을 입증했으며, 정렬된 커널을 사용하는 동기식 학습 대비 2.40배의 학습 단계 처리량을 달성했습니다.

플래그십 모델 지원

제로 미스매치 RL은 주요 플래그십 모델을 지원하도록 확장되어 롤아웃과 학습 간의 비트 단위 일관성을 보장합니다:

DeepSeek-V4.1-Flash: FP8, MXFP4 및 슬라이딩 윈도우 어텐션 지원을 포함하여 릴리스 정밀도에서 제로 미스매치를 달성했습니다. 롤아웃 단계는 빠른 베이스라인의 10% 이내로 유지됩니다.
Kimi K3.1: KDA 선형 어텐션 및 LoRA 어댑터 지원을 포함하여 day-0에 제로 미스매치를 달성했습니다.

크로스 플랫폼 구현: AMD MI355X

제로 미스매치는 아키텍처에 구애받지 않습니다. AMD MI355X 하드웨어에서 팀은 hipBLASLt와 같은 라이브러리의 배치 불변 문제를 해결하고 전문가 병렬(expert-parallel) 연산을 최적화하여 비트 단위 일관성을 달성했습니다. DeepSeek-V4-Flash의 경우 이러한 최적화는 서빙 처리량 손실을 크게 줄였으며, Kimi K3.1의 경우 여러 노드에서 LoRA 어댑터를 사용한 효율적인 RL 학습을 가능하게 했습니다.

모든 레시피, 수정 사항 및 구현 세부 정보는 Inferact/zero-mismatch-rl 저장소에서 확인할 수 있으며, REINFORCE Zero 논문과 코드는 hijkzzz/REINFORCE-Zero에 호스팅되어 있습니다.