radixark/miles

해결하는 문제

Miles는 대규모 모델의 고성능 사후 훈련을 위해 설계되었으며, 특히 트리리언 파라미터 규모에서 강화 학습(RL)에 초점을 맞추고 있습니다. 분산 시스템을 통해 거대한 모델을 훈련할 때 일반적으로 발생하는 안정성, 정밀도, 처리량 문제를 해결합니다.

작동 방식

Miles는 SGLang를 사용한 고처리량 롤아웃(생성)과 Megatron-LM을 사용한 확장 가능한 훈련(파이토치 FSDP2 백엔드 옵션 포함)을 결합합니다. 롤아웃과 훈련 워커가 분리된 완전 비동기 RL 파이프라인을 사용하여 대기 시간을 최소화합니다. 안정성을 유지하기 위해 재토큰화 오류를 방지하기 위해 "Token-in-token-out"(TITO)를 구현하고, 롤아웃과 훈련 간 MoE 라우팅 불일치를 방지하기 위해 "Rollout Routing Replay"(R3)을 사용합니다.

대상 사용자

모델 연구소, 하드웨어 및 클라우드 제공업체, 그리고 GRPO, PPO, REINFORCE++와 같은 RL 레시피를 사용하여 DeepSeek-V4 또는 Kimi-K3와 같은 전면 규모 모델을 훈련해야 하는 연구자들에게 적합합니다.

주요 특징

• 트리리언 파라미터 규모: P2P RDMA를 활용해 빠른 가중치 업데이트를 위한 최적화.
• 저정밀도 훈련: 메모리와 계산 비용을 줄이기 위해 MXFP8, NVFP4, FP8, INT4 QAT를 지원.
• 광범위한 하드웨어 호환성: NVIDIA(H100, B200 등) 및 AMD(MI300X, MI355X) GPU와 호환.
• 에이전트 환경 통합: E2B, Modal, NeMo Gym과 같은 플랫폼을 통해 코딩 및 컴퓨터 사용 에이전트와 연결.
• 장애 내성: SGLang 엔진이 실패해도 실행을 일시 중지하지 않고 자동으로 복구.

"Miles는 대규모 모델의 사후 훈련을 위한 고성능 강화 학습 프레임워크로, SGLang와 Megatron-LM을 통합하여 고처리량 롤아웃과 확장 가능한 훈련을 가능하게 합니다." — @miles-ai