vllm-project/vime

Vime – LLM post‑training framework for reinforcement‑learning at scale

What it is

Vime은 강화 학습(RL) 방법으로 대규모 언어 모델(LLM)을 파인튜닝할 수 있는 연구용 프레임워크입니다. 두 가지 검증된 스택을 결합합니다:
1. Megatron‑LM – 거대한 모델에 사용되는 고처리량 훈련 엔진.
2. vLLM (선택적 vllm‑router 포함) – 많은 GPU에서 병렬로 텍스트를 생성할 수 있는 빠른 추론 서버.
이 결합은 프롬프트 생성, 모델의 응답 롤아웃, 보상 계산, 그리고 결과 궤적이 다음 훈련 단계를 위해 Megatron으로 피드백되는 단일 데이터 흐름 루프를 제공합니다.

주요 기능

기능	Vime이 어떻게 제공하는가
고성능 훈련	Megatron이 무거운 그래디언트 업데이트를 처리하는 동안 Vime은 동일한 모델 가중치를 vLLM에 전달하여 롤아웃하고 양쪽을 동기화합니다.
유연한 데이터 생성	사용자는 사용자 정의 생성 함수(다중 턴 대화, 도구 호출, 샌드박스 환경 등)를 플러그인할 수 있습니다. `Data Buffer`는 프롬프트, 생성된 샘플, RL 보상을 추상화하여 모든 워크플로를 표현할 수 있습니다.
에이전트/장기 지평 지원	다중 에이전트, 비동기, 코드 생성 에이전트용 내장 후크; 예로 Qwen‑3.8‑27B에서 코딩 에이전트 RL 실행이 있습니다.

지원 모델 (업스트림 slime 프로젝트에서 상속) – Qwen 시리즈, DeepSeek V3 시리즈, LLaMA 3, 및 기타 Megatron 호환 체크포인트.

아키텍처 개요

훈련 (Megatron) – Data Buffer에서 배치를 읽고, RL 손실을 계산하며, 업데이트된 가중치를 롤아웃 측에 동기화합니다.
롤아웃 (vLLM + 라우터) – 하나 이상의 vLLM 추론 엔진을 시작하고, 생성 요청을 라우팅하며, 사용자 정의 로직(도구 사용, 환경 상호작용, 보상 검증)으로 래핑할 수 있습니다.
Data Buffer – 프롬프트, 생성된 궤적, 보상을 저장하는 접착제 역할을 합니다. Ray의 객체 저장소 또는 "straw" 공유 저장소 백엔드를 통해 영구 저장할 수 있어 내결함성을 제공합니다.

시작하는 방법

빠른 시작 가이드(환경 설정, 데이터 준비, 실행 스크립트)를 따르세요. 모든 명령은 단일 train.py 진입점으로 구동됩니다.
롤아웃 백엔드(--rollout-num-gpus-per-engine, --vllm-router-ip 등)와 필요한 Megatron 병렬 처리 플래그를 선택하세요.
필요 시 사용자 정의 생성 함수(--custom-generate-function-path)를 추가하여 자신만의 에이전트 루프를 구현하세요.
제공된 예제(다중 에이전트, 완전 비동기, 또는 Qwen‑3.8 코딩 에이전트 RL 데모)를 실행하세요.

확장성

인수는 세 그룹(Megatron, vLLM, Vime 특정)으로 나뉘며 모두 명령줄에 노출됩니다. 소스 파일 vime/utils/arguments.py와 vime/backends/vllm_utils/arguments.py에 전체 목록이 있습니다.
엔진 배포는 이종 GPU 그룹, 외부 롤아웃 서버, 디스크 기반 업데이트를 위한 델타 가중치 동기화를 지원하여 트레이너와 다른 클러스터에서 롤아웃을 실행할 수 있습니다.
테스트 및 신뢰성 – CPU 단위 테스트, GPU 엔드투엔드 스위트, CI 파이프라인이 조용한 RL 버그를 방지합니다. 내결함성 문서는 straw 전송을 사용한 충돌 복구 방법을 설명합니다.

Vime을 사용해야 하는 사람은?

더 많은 정보 찾는 곳

Vime은 강화 학습을 통한 LLM 포스트 트레이닝에 초점을 맞추고 vLLM 생태계와 밀접하게 통합된 진정한 오픈 소스 프로젝트입니다.