allenai/open-instruct

AllenAI's post-training codebase

해결하는 문제

Open Instruct는 공개된 데이터셋을 사용하여 인기 있는 사전 학습된 언어 모델의 지시 조정 및 후처리를 통합된 프레임워크로 제공합니다. Tülu 시리즈와 같은 고품질의 지시에 따라 행동하는 모델을 만드는 과정을 코드, 레시피, 아티팩트를 제공함으로써 개방적이고 재현 가능한 방식으로 만들고자 합니다.

작동 방식

이 프로젝트는 다단계 후처리 파이프라인을 구현합니다:

  • 지도된 미세조정 (SFT): 통합된 형식의 지시 데이터셋을 사용하여 베이스 모델을 미세조정합니다.
  • 선호도 조정: 직접 선호도 최적화(DPO)와 PPO를 구현하여 모델을 인간의 선호에 맞춥니다.
  • 검증 가능한 보상과 함께하는 강화학습(RLVR): GRPO와 같은 기술을 사용하여 검증 가능한 보상을 활용해 모델을 훈련합니다.
  • 파라미터 효율적인 조정: LoRA와 QLoRA를 지원하여 더 접근성 높은 미세조정을 가능하게 합니다.

대상 사용자

Tülu 모델을 재현하거나 오픈소스 언어 모델에 고급 후처리 기술(SFT, DPO, RLVR)을 적용하고자 하는 연구자 및 개발자.

주요 특징

  • 포괄적인 파이프라인: SFT에서 선호도 조정, RLVR에 이르기까지 전반적인 흐름을 커버합니다.
  • Tülu 모델 세트: Tülu 1, 2, 3 시리즈 모델의 훈련 레시피와 체크포인트를 제공합니다.
  • 데이터 정제 도구: 훈련 및 평가 데이터셋 간의 중복을 측정하는 스크립트를 포함하여 공정한 평가를 보장합니다.
  • 광범위한 모델 호환성: Llama 3.1 및 OLMo 2 모델과 호환됩니다.

관련

  • Dispatch
    TRL을 통한 Direct Preference Optimization (DPO)를 사용한 Llama 2 미세 조정

    Hugging Face은 TRL 라이브러리에 Direct Preference Optimization (DPO)를 통합하여, 복잡한 RLHF 파이프라인 대신 간단한 바이너리 크로스 엔트로피 손실을 사용하여 Llama 2 및 기타 LLMs의 정렬을 가능하게 했습니다.

  • 프로젝트
    huggingface/trl

    SFT, DPO, GRPO와 같은 기법을 사용하여 인간의 선호와 특정 작업에 맞추기 위해 기반 모델의 사후 훈련을 수행하는 라이브러리입니다.

  • 프로젝트
    SalesforceAIResearch/DiffusionDPO

    Direct Preference Optimization을 사용하여 Stable Diffusion과 같은 이미지 생성 모델을 인간의 선호도에 맞게 정렬하는 Diffusion-DPO 학습 프레€임워크입니다.

  • 프로젝트
    Tencent-Hunyuan/UniRL

    UniRL은 통합 강화학습 루프를 다양한 멀티모달 생성 모델(LLM, 비전-언어 모델, 이미지/비디오 확산, 하이브리드 AR-확산 모델)에 적용하는 오픈소스 Python 프레임워크입니다. 4개의 엔트리 포인트, Hydra 기반 구성, 플러그인 가능한 롤아웃 엔진, Ray 및 FSDP를 통한 분산 학습을 제공합니다. 리포지토리에는 표준 RL 알고리즘과 팀이 제안한 3가지 새로운 방법(Flow-DPPO, DRPO, CPPO)의 튜토리얼이 포함되어 있습니다. 지원 모델에는 Stable Diffusion 3, FLUX.2-Klein, Qwen-3, HunyuanVideo 등이 있습니다. 문서, 예제 레시피, WeChat 커뮤니티가 제공됩니다. Apache-2.0 라이선스.

  • 프로젝트
    Goekdeniz-Guelmez/mlx-lm-lora

    MLX를 사용하여 Apple Silicon에서 로컬로 대규모 언어 모델(LLM)을 훈련하고 미세조정할 수 있는 툴킷으로, 다양한 선호도 최적화 및 양자화 인식 훈련 방법을 지원합니다.