OpenRLHF/OpenRLHF

해결하는 문제

OpenRLHF는 강화학습(RLHF)을 위한 고성능의 실무 준비 완료형 프레임워크를 제공합니다. 추론과 학습을 모두 최적화하는 분산 아키텍처를 통합하여, RLHF 학습의 확장성 및 효율성 병목 현상(특히 학습 시간의 80%를 차지하는 샘플 생성 문제)을 해결합니다.

작동 원리

이 프레임워크는 스케줄링 및 리소스 관리를 위한 Ray, 고처리량 샘플 생성을 위한 vLLM, 그리고 메모리 효율적인 학습을 위한 DeepSpeed (ZeRO-3)를 결합한 분산 아키텍처를 사용합니다.

또한 모든 학습 실행을 'token-in-token-out' 에이전트 실행으로 처리하는 통합 에이전트 기반 설계 패러다임을 도입했습니다. 이를 통해 RL 알고리즘과 실행 모드를 분리하여 사용자가 다음 모드 간에 전환할 수 있습니다:

• 단일 턴 모드 (Single-Turn Mode): 대부분의 RLHF 사용 사례에 적합한 표준 원샷 생성.
• 멀티 턴 모드 (Multi-Turn Mode): 환경 피드백을 포함한 다단계 상호작용으로, 복잡한 추론이나 대화형 에이전트에 적합.

대상 사용자

소규모 모델부터 수천억 개의 파라미터를 가진 모델까지, RLHF를 사용하여 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)을 정렬해야 하는 AI 연구원 및 엔지니어를 위해 설계되었습니다.

주요 특징

• 다양한 RL 알고리즘: PPO, REINFORCE++, GRPO, RLOO, FlashREINFORCE 지원.
• 하이브리드 엔진 스케줄링: 모델과 vLLM 엔진이 GPU 리소스를 공유하여 활용도를 극대화.
• 광범위한 모델 지원: HuggingFace Transformers와 호환되며, LoRA/QLoRA, MoE, VLM 지원.
• 고급 최적화: 샘플 패킹, 긴 문맥을 위한 RingAttention, Muon 옵티마이저 포함.
• 유연한 보상 형성: DAPO 스타일의 과도한 길이 페널티와 ProRL 스타일의 절단 페널티를 통해 더 나은 길이 제어 가능.