Open-R1: DeepSeek-R1의 완전한 오픈 재생산
Hugging Face는 Open-R1を発表했으며, 이는 DeepSeek-R1의 학습 파이프라인과 데이터셋을 완전히 재현하려는 이니셔티브입니다. 이 프로젝트는 오픈소스 커뮤니티에 고성능 추론 모델을 구축하기 위해 필요한 투명성, 코드, 데이터를 제공하는 것을 목표로 하며, proprietary 레시피에 의존하지 않습니다.
DeepSeek-R1의 아키텍처 및 학습
DeepSeek-R1은 DeepSeek-V3 베이스를 기반으로 한 추론 모델로, 이는 671B Mixture of Experts (MoE) 모델입니다. DeepSeek-V3는 Multi-Head Latent Attention (MLA), Multi Token Prediction (MTP), 그리고 광범위한 하드웨어 최적화를 사용하여 약 5.5백만 달러의 비용으로 훈련되어 비용 효율성으로 알려져 있습니다.
DeepSeek는 추론 능력을 개발하기 위해 두 가지 서로 다른 경로를 사용했습니다:
- DeepSeek-R1-Zero: 이 버전은 감독 미세 조정(SFT)을 완전히 생략했습니다. 정확도와 구조에 기반한 보상 시스템과 Group Relative Policy Optimization(GRPO)를 사용한 강화 학습(RL)에 solely 의존하여 자체 검증 및 단계별 문제 해결과 같은 추론 능력을 개발했습니다. 강력하지만, 그 출력물은 종종 가독성이 부족했습니다.
- DeepSeek-R1: R1-Zero의 가독성 문제를 해결하기 위해 이 모델은 SFT를 위해 신중하게 선별된 작은 예시 세트를 사용한 '콜드 스타트' 단계로 시작했습니다.その後, 인간 선호도와 검증 가능한 보상에 기반한 저품질 출력물의 거부를 포함하여 추가적인 RL과 정제가 이어졌습니다.
Open-R1 프로젝트 목표
DeepSeek는 R1의 모델 가중치를 공개했지만, 특정 데이터셋과 학습 코드는 여전히 proprietary 상태입니다. Open-R1 프로젝트는 다음과 같은 3단계 계획을 통해 이러한 격차를 메우도록 설계되었습니다:
- Distillation: DeepSeek-R1로부터 고품질 추론 데이터셋을 증류하여 R1-Distill 모델을 복제합니다.
- Pure RL Pipeline: 수학, 추론, 코드를 위한 새로운 대규모 데이터셋을 선별하여 R1-Zero 파이프라인을 복제합니다.
- Multi-stage Training: 베이스 모델에서 SFT로, 그리고 RL로 전환하는 완전한 파이프라인을 시연합니다.
수학과 코딩을 넘어, Hugging Face는 이러한 추론 기술을 의학과 같은 다른 과학 분야에도 적용해 보려고 합니다.
커뮤니티 통찰 및 프로젝트 상태
발표 이후, 커뮤니티 토론에서는 '오픈' 모델의 특성과 재현의 도전과제와 관련하여 몇 가지 중요한 점이 강조되었습니다:
- Evaluation Metrics: 커뮤니티 구성원들은 진정한 재현이 원본 모델과의 성능을 검증하기 위한 평가 숫자가 필요하다고 지적했습니다. 프로젝트 기여자들은 이 블로그 게시물이 프로젝트 소개를 위한 것이며, 완전한 재현을 주장하는 것이 아니라고 명확히 했습니다.
- Data Transparency: 일부 사용자는 가중치만 공개하는 것이 완전한 블루프린트와 훈련 데이터가 부족하여 진정한 오픈 소스가 아니라 'open-binary' 또는 프리웨어라고 우려했습니다.
- Replication Challenges: 기여자들은 원래의 하이퍼파라미터와 데이터셋이 없으면 프로젝트가 원본 성능 수준에 도달하기 위해 'best guess estimates'에 의존한다고 강조했습니다.
"역사적으로, 그들은 [DeepSeek] LLM 훈련의 코드나 데이터셋을 절대 공개하지 않았기 때문에 이번에도 다르지 않을 것이라고 기대하지 않습니다. meantime 동안 우리는 best guess estimates를 만들어 보고 우리가 거기에 도달할 수 있는지 확인해야 합니다.
Open-R1 프로젝트는 공개적으로 개발 중이며, 코드는 GitHub에 호스팅되고 모델과 데이터셋은 Hugging Face의 Open-R1 조직에 업로드되고 있습니다.