allenai/open-instruct

AllenAI's post-training codebase

해결하는 문제

대규모 언어 모델이 지시를 따르고 유용하도록 훈련하는 것은 복잡하고 빠르게 변화하는 분야입니다. 이 프로젝트는 공개 데이터셋을 사용하여 사전 훈련된 모델의 명령 튜닝 및 사후 훈련을 위한 개방적이고 통합된 코드베이스를 제공합니다. 연구자들은 훈련 파이프라인을 재발명하지 않고도 Tülu 모델과 같은 최첨단 결과를 재현할 수 있습니다.

작동 방식

이 저장소에는 세 가지 주요 접근 방식에 대한 훈련 스크립트가 포함되어 있습니다:

  • 지시 따르기를 위한 지도 파인튜닝(SFT).
  • 인간 선호도로부터 학습하기 위한 직접 선호 최적화(DPO).
  • GRPO(정책 경사 방법)를 통한 검증 가능한 보상 강화 학습(RLVR). 이는 코드 정확성과 같이 명확하고 확인 가능한 보상이 있는 작업에 유용합니다.

데이터셋은 통일된 형식으로 변환됩니다. 코드베이스에는 명령 튜닝과 평가 데이터셋 간의 중복을 측정하여 우발적인 데이터 누출을 방지하는 디콘타미네이션 스크립트도 포함되어 있습니다. AI2의 Beaker 클러스터용 실행 스크립트가 제공되지만, 훈련은 로컬에서도 실행할 수 있습니다. 프로젝트는 기본 평가 지원이 현재 유지 관리되지 않으며 OLMES를 대신 사용할 것을 권장합니다.

대상 사용자

이 프로젝트는 공개 데이터로 언어 모델을 훈련하거나 파인튜닝하려는 연구자와 개발자를 대상으로 하며, 특히 지시 따르기, 선호 튜닝 또는 보상 기반 강화 학습을 실험하는 사람들에게 적합합니다. 연구용 코드베이스이므로 하위 호환성을 보장하지 않습니다.

주요 특징

  • SFT, DPO 및 GRPO 기반 RLVR을 위한 즉시 실행 가능한 스크립트 제공.
  • 훈련/평가 데이터 중복을 방지하는 디콘타미네이션 도구 포함.
  • Tülu 모델 시리즈를 기반으로 하며 OLMo 3 실험에 사용됨.
  • 코드는 여러 잘 알려진 프로젝트(HuggingFace, TRL, OpenAI RLHF, OpenRLHF)에서 각색됨.
  • Apache 2.0 라이선스.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트
  • Dispatch