baidu-baige/LoongSage

해결하는 문제

LoongSage는 강화 학습(RL)을 사용한 대규모 언어 모델(LLM) 훈련의 복잡성을 해결하기 위해 프로덕션 등급의 확장 가능한 프레임워크를 제공합니다. 에이전트 비즈니스 로직을 기본 훈련 인프라에서 분리하는 과제를 해결하고, 대규모 RL 미세 조정 중 모델 붕괴를 방지하기 위해 훈련과 추론 간의 일관성을 보장합니다.

작동 방식

LoongSage는 분산 스케줄링을 위한 Ray, 모델 훈련을 위한 Megatron-Core, 높은 처리량 추론을 위한 SGLang의 세 가지 주요 기술을 기반으로 한 모듈식 아키텍처를 사용합니다. 이 프레임워크는 'AgentFlow' 모듈을 통해 모든 에이전트가 프레임워크를 수정하지 않고도 표준 채팅 인터페이스를 통해 시스템과 상호 작용할 수 있도록 합니다. 샘플링과 훈련이 병렬로 수행되는 완전 비동기 훈련을 지원하며, Router Replay 및 중요도 샘플링과 같은 고급 기술을 사용하여 훈련 엔진과 추론 엔진 간의 확률 분포 일관성을 유지합니다.

대상 사용자

이 프레임워크는 프론티어 규모 LLM의 사후 훈련 최적화를 연구하는 연구자와 엔지니어를 위해 설계되었습니다. 특히 높은 처리량과 시스템 안정성을 유지하면서 대규모 모델(MoE 아키텍처 등)에서 복잡한 RL 전략(온라인 증류 또는 에이전트 코드 수리 등)을 구현해야 하는 팀에 적합합니다.

주요 특징

• 무간섭 에이전트 액세스: 에이전트 로직을 RL 프레임워크에서 분리하여 표준 채팅 API를 통한 원활한 통합을 가능하게 합니다.
• 완전 비동기 훈련: 샘플링과 훈련을 분리하여 병목 현상을 제거하고 처리량을 최대 39% 향상시킵니다.
• 시스템 수준 일관성: 훈련-추론 확률 편향을 1e-4 수준으로 유지하는 특정 정렬 기술을 구현하여 훈련 붕괴를 방지합니다.
• 프로덕션 준비 레시피: 수학 추론 및 에이전트 코드 수리와 같은 복잡한 작업을 위한 검증된 구성을 포함하며, DeepSeek-V4-Flash 및 Qwen3와 같은 대규모 모델에서 테스트되었습니다.
• 높은 확장성: 프레임워크 코어를 변경하지 않고도 사용자 정의 에이전트, 보상 모델 및 RL 알고리즘을 위한 12개의 핵심 확장 지점을 제공합니다.