lucidrains/PaLM-rlhf-pytorch

What it solves

本项目提供了一个基于 PaLM 架构的 Reinforcement Learning from Human Feedback (RLHF) 的 PyTorch 实现。它允许开发者通过训练一个基于人类策划的奖励模型 (reward model) 并接着使用强化学习来优化模型的输出，从而实现预训练语言模型与人类偏好的对齐。

How it works

该过程分为三个主要阶段：

1. Base Model Training: PaLM transformer 被训练为标准的自回归模型。

2. Reward Model Training: RewardModel 被创建 (可选使用 LoRA 进行高效微调) 以预测给定序列的人类奖励值。

3. RLHF Optimization: RLHFTrainer 同时使用预训练的 PaLM 模型和奖励模型，来通过强化学习训练回合 (episodes) 来优化语言模型的生成能力。

Who it’s for

它是为 AI 研究人员和开发者设计的，旨在通过 PaLM 架构的开源实现，复现 ChatGPT 等模型所使用的 RLHF 流程。

Highlights

• LoRA Support: 包括使用 Low-Rank Adaptation (LoRA) 进行微调奖励模型以防止过拟合的选项。
• Flash Attention: 已集成 Flash Attention 以实现更快速、更显存存储高效的注意力机制。
• Complete Pipeline: 最 de 提供了从基础 transformer 训练到奖励建模和最终 RLHF 训练的结构化工作流程。