huggingface/open-r1

해결하는 문제

Open R1은 DeepSeek-R1 파이프라인의 완전한 오픈 소스 재현을 제공하기 위해 설계되었습니다. 이 프로젝트는 커뮤니티가 R1 모델의 추론 능력을 재현할 수 있도록 원본 파이프라인의 공백을 메우는 것을 목표로 하며, 특히 고품질 추론 흔적(reasoning traces)을 증류하고 강화 학습(RL) 파이프라인을 구현하는 데 중점을 둡니다.

작동 방식

이 프로젝트는 DeepSeek-R1 기술 보고서를 기반으로 다단계 학습 접근 방식을 구현합니다. 다음을 위한 스크립트를 제공합니다:

• 지도 미세 조정 (SFT): 추론 흔적이 포함된 데이터셋으로 간단한 SFT 수행.
• 그룹 상대 정책 최적화 (GRPO): vLLM 백엔드를 사용하여 여러 노드에서 확장 가능한 RL로 모델 학습.
• 합성 데이터 생성: Distilabel을 사용하여 기존 모델로부터 합성 데이터 생성.
• 코드 실행 보상: E2B, Morph, Piston과 같은 샌드박스 제공업체와 통합하여 경쟁 프로그래밍 작업(예: Codeforces, IOI) 학습을 위한 실시간 코드 실행 보상 제공.

대상 사용자

이 프로젝트는 더 작은 모델이나 오픈 웨이트 모델에서 DeepSeek-R1의 추론 능력을 재현하고자 하는 AI 연구자 및 개발자, 또는 추론 모델을 위한 GRPO 및 SFT 증류 파이프라인을 구현하려는 분들을 위한 것입니다.

주요 특징

• 오픈 재현: R1-Distill 모델 및 R1-Zero RL 파이프라인을 복제하기 위한 완전한 파이프라인.
• 검증 가능한 보상: 수학 및 코드 분야에서 높은 정확도의 학습을 위해 샌드박스 환경을 사용하는 코드 인터프리터 보상 지원.
• 확장 가능한 학습: H100 클러스터에서의 다중 노드 학습을 위해 vLLM 및 Hugging Face Accelerate (DeepSpeed ZeRO-2/3)와 통합.
• 엄선된 데이터셋: Mixture-of-Thoughts 및 CodeForces-CoTs와 같은 추론 데이터셋 공개.