axolotl-ai-cloud/axolotl

解决的问题

Axolotl 简化了大型语言模型 (LLMs) 训练后处理和微调的复杂过程。它提供了一个统一的框架，消除了为每个新模型或技术编写自定义训练脚本的需求，允许用户使用单个 YAML 文件配置整个流水线——从数据集预处理到推理。

运作方式

Axolotl 作为各种训练库和优化的包装器与协调器。它支持广泛的模型架构（包括文本、视觉语言和音频模型），并集成了 LoRA、QLoRA 和 RL (GRPO, GDPO) 等先进训练方法。为了最大化硬件效率，它集成了 Flash Attention 等性能内核，并支持使用 FSDP2 和 DeepSpeed 在多个 GPU 或节点上进行分布式训练。

适用对象

专为希望在自定义数据集上微调最先进开源模型的开发者和 AI 研究人员设计，无需管理分布式训练和内存优化的底层样板代码。

特色亮点

• 广泛的模型支持：兼容 Hugging Face Hub 上的大量模型，包括 LLaMA、Mistral 和多模态 VLM。
• 配置驱动：使用 YAML 文件管理数据集、训练超参数和量化设置。
• 先进训练技术：支持全量微调、偏好调整 (DPO, ORPO) 和奖励建模 (RM/PRM)。
• 高性能优化：包含 multipacking、序列并行化以及多种 4-bit 和 8-bit 量化方法 (FP8, NVFP4)。
• 云端与本地灵活性：提供 Docker 镜像和 PyPI 包，便于在各种云 GPU 提供商上部署。