axolotl-ai-cloud/axolotl

解决的问题

Axolotl 简化了大型语言模型 (LLM) 训练后处理和微调的复杂过程。它提供了一个统一的框架，无需为不同的模型或技术编写自定义训练脚本，使用户能够通过单个配置文件完成从数据集预处理到推理的全过程。

工作原理

用户在 YAML 配置文件中定义训练参数——例如模型、数据集和微调方法。Axolotl 负责底层的编排工作，通过集成各种性能内核和分布式训练库，在单个或多个 GPU 和节点上执行训练任务。

适用对象

专为 AI 研究人员和开发人员设计，他们希望在无需管理训练循环和硬件优化等底层样板代码的情况下，微调最先进的 LLM 和视觉语言模型 (VLM)。

亮点

• 广泛的模型支持：兼容 LLaMA, Mistral, Mixtral, Qwen 以及 Hugging Face Hub 上的许多其他模型。
• 多样化的训练方法：支持 full fine-tuning, LoRA, QLoRA, Preference Tuning (DPO, ORPO), RL (GRPO) 和 Reward Modelling。
• 多模态能力：能够微调视觉语言模型 (VLM) 和音频模型。
• 高级优化：包括 Flash Attention 2/3/4, Sequence Parallelism，以及用于多 GPU/多节点扩展的 FSDP 和 DeepSpeed 支持。
• 灵活的数据加载：支持来自本地存储、Hugging Face 和各种云提供商 (S3, Azure, GCP, OCI) 的数据集。