vLLM 학습-추론 일관성 릴리스 노트

개요

LLM을 위한 고성능 강화 학습(RL)은 종종 학습-추론 불일치 문제로 어려움을 겪습니다. 추론 엔진과 학습 엔진 간의 수치적 차이로 인해 모델이 샘플링에 사용된 정책과 다른 정책을 최적화하게 되기 때문입니다. 이러한 불일치는 학습을 불안정하게 만들어 보상 붕괴(reward collapse)를 초래하고 재실행 횟수를 증가시킵니다. vLLM은 롤아웃과 학습 간에 **비트 단위로 동일한 logprobs(차이 = 0)**를 달성하는 새로운 접근 방식을 도입했습니다. 이를 통해 DeepSeek-V4-Flash에서 기준 롤아웃 처리량의 91.3%를 유지하면서도 진정한 온-정책(on-policy) RL을 보장합니다.

기술적 과제: 학습-추론 불일치

롤아웃은 RL 학습에서 가장 시간이 많이 소요되는 부분이며, 이로 인해 개발자들은 저정밀도 연산, 저정밀도 KV 캐시 및 다양한 커널 최적화를 채택하게 됩니다. 이러한 최적화는 종종 학습 순전파(forward pass)와 비교했을 때 비결정론적 동작이나 수치적 차이를 유발합니다.

DeepSeek-V4-Flash를 사용한 실험에서, 기준 모델의 학습-추론 KL 발산은 100단계 동안 2e-3에서 29.9로 상승하여 보상 저하를 초래했습니다. vLLM 접근 방식은 학습 순전파가 롤아웃 측과 동일한 vLLM 추론 커널을 사용하도록 강제함으로써 이 문제를 해결하며, 두 엔진이 동일한 가중치에 대해 동일한 정책을 계산하도록 보장합니다.

비트 단위 일관성 달성

차이 0을 달성하기 위해 시스템은 다음 네 가지 차원에서 일관성을 강제합니다:

  • 커널 결정론: 동일한 입력에 대해 동일한 커널이 항상 동일한 출력을 생성하도록 보장하여 비결합 부동 소수점 누적 문제를 방지합니다.
  • 배치 독립성: 요청의 결과가 배치 내 다른 요청에 따라 변경되는 의존성을 제거합니다.
  • 단계 일관성: 프리필(prefill) 단계와 디코드(decode) 단계 간의 계산 경로를 통합합니다.
  • GPU 간 일관성: 타이밍이나 스케줄링에 따라 통신 리덕션이 달라지지 않도록 수정합니다.

고성능 커널을 수정하여 이러한 요구 사항을 충족함으로써, 팀은 저정밀도 연산의 성능 이점을 희생하지 않고도 비트 단위로 동일한 결과를 달성했습니다.

에이전트 기반 구현

새로운 모델에 이러한 일관성을 적용하는 비용을 낮추기 위해, vLLM은 디버깅 및 정렬 프로세스를 자동화하는 **에이전트 스킬(agent skill)**을 출시했습니다. 이 스킬은 에이전트를 다음과 같이 안내합니다:

  1. 로컬라이제이션: 두 엔진이 발산하는 첫 번째 연산자를 식별합니다.
  2. 최소 재현: 발산을 최소한의 재실행 가능한 테스트 케이스로 축소합니다.
  3. 검증: 수정 사항이 고성능 기준을 깨뜨리지 않으면서 일관성을 유지하는지 확인합니다.

결과 및 성능

  • DeepSeek-V4-Flash: 일관성 버전은 기준 롤아웃 처리량의 91.3%에서 0 차이를 달성했습니다. 기준 모델의 보상은 다시 떨어졌지만, 일관성 버전의 보상은 안정적으로 유지되었습니다.
  • Nemotron-3.5 (Mamba 하이브리드): 일관성 버전은 0.6의 SWE-bench Pro 점수를 유지한 반면, 기준 점수는 0.56에서 0.22로 떨어졌으며, 이는 일관성이 복잡한 아키텍처에서 학습 붕괴를 방지함을 보여줍니다.

오픈 소스 가용성

프로세스, 레시피 및 코드는 이제 커뮤니티에서 사용할 수 있습니다. 여기에는 자동 정렬을 위한 train-inference-consistency 스킬, DeepSeek-V4 레시피, 그리고 Nemotron-3.5-Lightning-30B-A3B 구현이 포함됩니다. 현재 DeepSeek-V4.1에 대한 개발이 진행 중이며, 이미 0 차이를 달성했고 성능 최적화가 마무리 단계에 있습니다.

Sources