NVIDIA-NeMo/RL

해결하는 문제

NeMo RL은 대규모 다중 모달 모델(대규모 언어 모델(LLM) 및 시각-언어 모델(VLM) 포함)의 후학습을 위한 확장 가능하고 효율적인 프레임워크를 제공합니다. 강화학습(RL) 및 어라이어먼트 기술을 적용하여 사전학습 단계에서 생산 준비 완료된 성능으로 모델을 이동시키는 과정을 간소화하며, 소규모 연구 실험부터 대규모 멀티노드 배포까지 모두 지원합니다.

작동 방식

이 라이브러리는 학습과 생성(롤아웃) 프로세스를 분리하는 모듈식 아키텍처를 사용합니다.

• 학습 백엔드: 메모리 효율성을 중시하는 DTensor(PyTorch 내장 분산 학습)과 6D 병렬화를 사용해 매우 큰 모델에 고성능으로 확장하는 Megatron Core를 지원합니다.
• 생성 백엔드: 고처리량 추론을 위한 vLLM과 SGLang과의 통합에 더해, 학습과 추론 간 가중치 변환을 제거하는 Megatron 내장 백엔드도 제공합니다.
• 인프라: Ray를 활용해 확장 가능한 리소스 관리와 RL 에이전트 간 프로세스 격리 기능을 제공합니다.
• 최적화: 시퀀스 패킹, FP8 저정밀도 학습, 사전 추론과 같은 고급 기술을 지원하여 RL 루프를 가속화합니다.

대상 사용자

NeMo RL은 강화학습을 사용해 대규모 다중 모달 모델의 후학습이 필요한 AI 연구자 및 엔지니어를 위한 것입니다. 특히, 막대한 데이터셋과 하드웨어 클러스터(예: GB200)를 다루는 환경에서 효율성과 확장성이 중요한 경우에 적합합니다.

주요 특징

• 다양한 RL 알고리즘: GRPO, GSPO, DAPO, DPO, SFT(LoRA 포함), 온폴리시/오프폴리시 디스틸레이션을 지원합니다.
• 광범위한 모델 호환성: Qwen, Nemotron, Gemma 4, GLM 등 다양한 모델과 호환됩니다.
• 고급 병렬 처리: TP, PP, CP, SP, EP, FSDP2를 구현하여 거대한 모델과 긴 컨텍스트 길이를 처리할 수 있습니다.
• 다중 모달 기능: 시각-언어 모델(VLM)을 위한 SFT 및 GRPO를 특별히 지원합니다.
• 원스톱 통합: Hugging Face 모델의 즉시 지원과 NeMo-Gym과의 통합을 제공합니다.