THUDM/slime

해결하는 문제

slime은 RL 스케일링을 위해 설계된 고성능 LLM 사후 학습 프레임워크입니다. 학습기, 롤아웃 서비스, 에이전트 프레임워크가 분리되어 있고 스택이 무거운 문제를 학습, 롤아웃, 데이터 생성 경로를 단일화된 간소화된 흐름으로 통합하여 해결합니다.

작동 원리

slime은 학습을 위한 Megatron-LM과 롤아웃을 위한 SGLang을 연결합니다. "네이티브 패스스루" 설계를 사용하여 사용자가 추상화 계층을 추가하지 않고도 Megatron과 SGLang 인수를 직접 사용할 수 있습니다. 아키텍처는 세 가지 주요 모듈로 구성됩니다.

• 학습 (Megatron): 주요 학습 프로세스를 처리하고 매개변수를 롤아웃 모듈에 동기화합니다.
• 롤아웃 (SGLang + router): 새로운 데이터를 생성하고 보상/검증기 출력을 계산합니다.
• 데이터 버퍼 (Data Buffer): 프롬프트 초기화 및 롤아웃 생성 방법을 관리하는 브리지 역할을 합니다.

PD 분리(프리필/디코드 분리), 효율적인 업데이트를 위한 델타 가중치 동기화, 분리형 서빙을 위한 외부 롤아웃 엔진 등 다양한 고급 배포 구성을 지원합니다.

대상 사용자

LLM의 대규모 RL 사후 학습을 연구하는 연구원 및 엔지니어, 특히 Megatron-SGLang 스택을 사용하는 분들을 위한 프레임워크입니다. 에이전트 RL, 전 모달 학습 또는 검증 가능한 환경으로 확장할 수 있을 만큼 가볍고 실전에서 검증된 프레임워크가 필요한 분들을 위해 설계되었습니다.

주요 특징

• 실전 검증: GLM 시리즈 모델(GLM-4.5에서 GLM-5.3까지) 학습에 사용되었습니다.
• SGLang 네이티브: SGLang에 최적화되어 특정 서빙, 라우팅 및 캐싱 기능을 활용할 수 있습니다.
• 유연한 데이터 생성: 학습 커널을 포크하지 않고도 멀티 에이전트 시스템, 도구 사용 및 장기 에이전트 워크플로우를 위한 사용자 지정 인터페이스를 지원합니다.
• 프로덕션 준비 완료: 내결함성, 추적, 프로파일링 및 RL 인프라를 위한 포괄적인 CI/CD를 기본적으로 지원합니다.
• 광범위한 모델 지원: Qwen, DeepSeek V3/R1 및 Llama 3 시리즈와 호환됩니다.