lucidrains/PaLM-rlhf-pytorch

해결하는 문제

이 프로젝트는 PaLM 아키텍처에 적용된 인간 피드백을 통한 강화학습(RLHF)의 PyTorch 구현을 제공하여, 개발자가 대규모 언어 모델을 인간의 선호에 맞추는 데 도움을 줍니다.

작동 방식

워크플로우는 세 가지 주요 단계로 구성됩니다:

1. 기본 모델 학습: 대규모 데이터셋에서 자기회귀적 PaLM 트랜스포머를 학습합니다.
2. 보상 모델 학습: 정제된 인간 피드백을 사용하여 모델 응답을 평가하는 RewardModel를 학습합니다. 구현은 표준 파인튜닝과 저랭크 적응(LoRA)을 모두 지원하여 과적합을 완화합니다.
3. RLHF 학습: RLHFTrainer는 사전 학습된 PaLM 모델과 학습된 보상 모델을 받아 보상 신호에 기반해 언어 모델의 출력을 최적화합니다.

대상 사용자

ChatGPT와 같은 모델에서 사용된 RLHF 프로세스를 오픈소스 프레임워크를 통해 재현하고자 하는 연구자 및 개발자에게 적합합니다.

주요 특징

• PaLM 아키텍처: PaLM 트랜스포머 설계를 기반으로 합니다.
• LoRA 지원: 효율적인 보상 모델 파인튜닝을 위한 저랭크 적응을 포함합니다.
• Hugging Face 통합: 분산 학습을 위해 accelerate 라이브러리를 사용합니다.
• Flash Attention: 메모리 효율성과 속도 향상을 위해 통합되어 있습니다.