lucidrains/PaLM-rlhf-pytorch

解决的问题

本项目提供了针对 PaLM 架构的人类反馈强化学习（RLHF）的 PyTorch 实现，使开发者能够将大语言模型与人类偏好对齐。

工作原理

工作流程包含三个主要阶段：

1. 基础模型训练：在大规模数据集上训练一个自回归 PaLM 变压器。
2. 奖励模型训练：使用精心筛选的人类反馈训练一个 RewardModel，以对模型输出进行评分。该实现支持标准微调和低秩适应（LoRA），以减轻过拟合。
3. RLHF 训练：RLHFTrainer 接收预训练的 PaLM 模型和训练好的奖励模型，基于奖励信号优化语言模型的输出。

适用人群

希望使用开源框架复现 ChatGPT 等模型所用 RLHF 流程的研究人员和开发者。

特色亮点

• PaLM 架构：基于 PaLM 变压器设计。
• 支持 LoRA：包含低秩适应，用于高效奖励模型微调。
• Hugging Face 集成：使用 accelerate 库实现分布式训练。
• Flash Attention：集成以提升内存效率和速度。