vLLM을 통한 TPU v7에서의 0.6B 밀집 모델 RL 최적화

요약

연구진은 Google Cloud TPU v7에서 0.6B 밀집 모델의 강화 학습(RL) 훈련 주기를 최적화하여, 전체 롤아웃-업데이트 주기를 약 100분에서 56초로 단축했습니다. 이러한 107배의 속도 향상은 단순히 FLOPs에만 집중하는 대신 디코드 스케줄링, 동기화, 어텐션 지오메트리, KV-캐시 수명 주기와 같은 시스템 수준의 병목 현상을 해결함으로써 달성되었습니다. 모든 최적화 사항은 vLLM, Tunix 및 MaxText 저장소에 업스트림되었으며, 개발자들은 제공된 tpu-recipes 구성을 사용하여 이러한 결과를 재현할 수 있습니다.

소형 밀집 모델의 과제

대규모 밀집 모델이나 전문가 혼합(MoE) 모델의 경우, 분산 훈련은 일반적으로 행렬 연산과 통신 오버헤드에 의해 좌우됩니다. 그러나 0.6B 파라미터 모델을 훈련할 때는 레이어당 계산 작업이 크게 줄어들어 고정된 시스템 비용이 주요 병목 현상이 됩니다. 이 영역에서는 호스트 측 디스패치, 동기화 장벽, KV-캐시 관리 및 커널 시작 오버헤드가 전체 실행 시간의 불균형적인 부분을 차지합니다. 공동 설계 없이는 이러한 오버헤드로 인해 TPU v7 MXU가 높은 활용도를 유지하기 어렵습니다.

시스템 공동 설계 및 최적화

최적화 캠페인은 워크로드의 특정 지오메트리에 소프트웨어 스택을 맞추기 위해 3단계 접근 방식을 따랐습니다.

1단계: 기본 구성

초기 튜닝되지 않은 실행은 초당 약 4K 토큰을 생성했습니다. 메시 스윕을 수행하고 데이터 및 텐서 병렬 처리를 재조정하며 HBM 제한을 튜닝함으로써, 팀은 처리량을 초당 30K 토큰으로 늘리고 주기 시간을 100분에서 21분으로 단축했습니다.

2단계: 디코드 공동 설계

호스트 측 디스패치 제한을 극복하기 위해 팀은 vLLM에 "Continue Decode"를 구현하여 여러 디코드 반복을 단일 XLA 장치 루프로 컴파일했습니다. 또한, Ragged Paged Attention (RPA v3) 커널을 리팩토링하여 HBM 페치 지오메트리를 VMEM 계산 타일링과 분리했습니다. 이를 통해 DMA 전송과 TensorCore 실행 간의 오버랩이 개선되어 디코드 처리량이 초당 130.5K 토큰으로 향상되었습니다.

3단계: 전체 주기 최적화

최종적인 성과는 전체 RL 루프를 최적화함으로써 실현되었습니다. 주요 개선 사항은 다음과 같습니다.

  • KV 지속성: 가중치 업데이트 중 불필요한 재할당을 피하기 위해 논리적 캐시 무효화를 물리적 HBM 할당에서 분리했습니다.
  • 연속 배치(Continuous Batching): 완료된 시퀀스를 마스킹된 슬롯으로 처리하여 융합된 디코드 루프를 활성 상태로 유지했습니다.
  • 훈련 재튜닝: Splash Attention 블록 크기를 프로덕션 시퀀스 지오메트리에 맞게 조정했습니다.
  • 병렬 처리 전환: 롤아웃 동시성을 최대화하기 위해 TP1×DP128 구성으로 이동했습니다.

벤치마크 방법론

팀은 GRPO(Group Relative Policy Optimization)를 사용하여 Qwen3-0.6B를 실행하는 64칩 Google Cloud TPU v7 슬라이스를 활용했습니다. 워크로드는 2,048개의 동시 완료에 걸쳐 엄격한 8,192 토큰 응답 제한을 유지했습니다. 보고된 모든 지표는 컴파일 및 웜업을 제외한 정상 상태의 실행 시간을 반영하며, 최종 구성은 초당 약 183K 토큰을 유지했습니다.

부정적인 결과 및 교훈

여러 가설이 테스트되고 폐기되어 상당한 엔지니어링 노력을 절약했습니다.

  • 가중치/KV 양자화: INT8 가중치나 FP8 KV-캐시 모두 메모리 대역폭이 아닌 고정 비용 실행에 의해 병목 현상이 발생했기 때문에 의미 있는 속도 향상을 제공하지 못했습니다.
  • 공유 접두사 어텐션(Shared-Prefix Attention): 구성된 접두사/접미사 어텐션은 대규모 환경에서 최적화된 프로덕션 RPA 커널보다 나은 이득을 보여주지 못했습니다.
  • 훈련 마이크로배칭: 훈련 마이크로배치 크기를 늘려도 총 FLOPs가 줄어들거나 훈련 단계가 단축되지 않았습니다.

재현성

모든 변경 사항은 오픈 소스 스택에 병합되었습니다. 사용자는 tpu-recipes 저장소를 사용하여 56초 주기를 재현할 수 있습니다. 최종 구성은 융합된 XLA 루프가 불필요한 동기화 없이 작동하도록 RPA_V3_DECODE_BLOCK_SIZES="1,2048,1,2048" 및 CONTINUE_DECODE_EOS_CHECK_INTERVAL="0"과 같은 특정 환경 변수가 필요합니다.

Sources