huggingface/trl

해결하는 문제

TRL은 기반 모델의 사후 훈련을 위한 포괄적인 도구 키트를 제공합니다. 강화 학습과 미세 조정 기술을 사용하여 모델을 인간의 선호도나 특정 작업에 맞추는 프로세스를 간소화하여, 개발자가 초기 사전 훈련을 넘어 더 유용하고 안전한 모델을 만들 수 있게 합니다.

작동 방식

TRL은 Hugging Face Transformers 생태계를 기반으로 구축되었으며, 표준 Transformers 트레이너를 래핑하는 전문 트레이너 클래스를 제공합니다. 여러 고급 사후 훈련 알고리즘을 구현합니다:

• SFT(지도 미세 조정): 레이블이 지정된 데이터 세트에서 기본 미세 조정.
• GRPO(그룹 상대 정책 최적화): 추론 모델(예: DeepSeek-R1)에 사용되는 메모리 효율적인 알고리즘.
• DPO(직접 선호도 최적화): 쌍으로 된 선호도에 따라 모델을 정렬합니다.
• KTO(Kahneman-Tversky 최적화): 쌍이 아닌 이진 피드백(바람직함 vs 바람직하지 않음)을 사용하여 모델을 정렬합니다.

Accelerate와 통합하여 멀티 GPU 확장, PEFT와 통합하여 메모리 효율적인 훈련(LoRA/QLoRA), Unsloth와 통합하여 커널 수준 가속화를 지원합니다.

대상 사용자

단일 GPU에서 멀티 노드 클러스터까지 다양한 하드웨어 설정에서 대규모 언어 모델과 기반 모델을 사후 훈련, 정렬 또는 미세 조정해야 하는 머신 러닝 엔지니어와 연구자.

주요 특징

• 다양한 트레이너 제품군: SFT, GRPO, DPO, KTO 및 보상 훈련을 위한 전용 트레이너가 포함됩니다.
• 메모리 효율성: 융합된 LM 헤드를 사용하여 최대 8k 토큰 시퀀스의 피크 VRAM 사용량을 52%에서 82%까지 줄입니다.
• 확장 가능한 인프라: Hugging Face Accelerate를 통해 DDP, DeepSpeed ZeRO 및 FSDP를 기본 지원합니다.
• 노코드 옵션: Python 코드를 작성하지 않고 사후 훈련 방법을 실행할 수 있는 명령줄 인터페이스(CLI)가 포함되어 있습니다.