huggingface/trl

它解决了什么问题

TRL 为基础模型的后期训练提供了一个全面的工具包。它简化了使用强化学习和微调技术将模型与人类偏好或特定任务对齐的过程，让开发者能够超越初始预训练，创建更有用且更安全的模型。

它的运作方式

TRL 基于 Hugging Face Transformers 生态系统构建，提供了包装标准 Transformers 训练器的专门训练器类。它实现了多种先进的后期训练算法：

• SFT（监督式微调）：在标记数据集上进行基本微调。
• GRPO（群体相对策略优化）：一种内存效率高的算法，用于推理模型（如 DeepSeek-R1）。
• DPO（直接偏好优化）：基于成对偏好对齐模型。
• KTO（Kahneman-Tversky 优化）：使用二元反馈（期望与非期望）而非成对数据来对齐模型。

它与 Accelerate 集成以支持多 GPU 扩展，与 PEFT 集成以进行内存效率训练（LoRA/QLoRA），并与 Unsloth 集成以进行内核级加速。

适用对象

需要对大型语言模型和基础模型进行后期训练、对齐或微调的机器学习工程师和研究人员，涵盖从单一 GPU 到多节点集群的各种硬件设置。

亮点

• 多样化训练器套件：包含专用的 SFT、GRPO、DPO、KTO 和奖励训练器。
• 内存效率：使用融合的 LM 头部，将长达 8k token 序列的峰值 VRAM 使用量减少 52% 至 82%。
• 可扩展基础设施：通过 Hugging Face Accelerate 原生支持 DDP、DeepSpeed ZeRO 和 FSDP。
• 无代码选项：包含命令行界面（CLI），无需编写 Python 代码即可执行后期训练方法。