hiyouga/LlamaFactory

LlamaFactory – 数十种LLM的一键微调

它是什么 – LlamaFactory是一个开源Python工具包，让您几乎无需编写代码即可微调、评估和提供100多个大型语言模型（LLM）。它附带命令行界面和基于Gradio的Web UI（LlamaBoard），因此您可以在本地或云端（Colab、SageMaker、AMD/Ascend GPU等）运行实验。

为什么重要 – 训练或适配现代LLM通常需要深入了解分布式训练、量化和优化器技巧。LlamaFactory捆绑了大量最先进的方法（LoRA、QLoRA、FlashAttention-2、GaLore、BAdam、ORPO、DPO、PPO、KTO等），并通过简单的YAML配置即可选择。结果是“零代码”工作流，同时仍能访问最新研究。

核心功能

类别	您可以做什么
模型覆盖	LLaMA-1/2/3/4、LLaVA、Mistral、Mixtral-MoE、Qwen 2/3/2.5-VL、DeepSeek、Gemma 3、GLM-4、Phi-4、InternLM、MiniCPM-o、PaliGemma等
训练范式	全参数、冻结微调、8位/4位/2位QLoRA、LoRA+、LongLoRA、DoRA、块扩展、持续预训练、监督微调、多模态（图像/视频/音频）微调、奖励建模、PPO/DPO/ORPO/KTO、通过EasyR1进行强化学习
优化器与技巧	GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT/OFTv2、NEFTune、rsLoRA、RoPE缩放、FlashAttention-2、Unsloth、Liger-Kernel、KTransformers、SGLang/vLLM推理后端
硬件支持	NVIDIA GPU、AMD ROCm、Ascend NPU、Intel Gaudi、SageMaker HyperPod、Docker容器、Colab笔记本
监控	TensorBoard、Weights & Biases、MLflow、SwanLab、内置LlamaBoard UI
部署	OpenAI兼容REST API、Gradio UI、用于高吞吐量服务的vLLM或SGLang工作节点
数据处理	内置数据集加载器、数据中心管道（DataFlow、DataFlex）、自动打包以避免污染

典型工作流（快速入门）

安装 – pip install llamafactory 或拉取Docker镜像 hiyouga/llamafactory。
准备数据 – 将训练集放在文件夹中，或使用提供的示例（例如，用于工具使用的 glaive_toolcall_en）。LlamaFactory也可以从ModelScope/Modelers Hub下载。
创建配置 – 一个简短的YAML文件选择模型、数据集、微调方法（例如，lora）、量化位数以及任何特殊技巧（use_unsloth: true）。
运行 – llamafactory train path/to/config.yaml（CLI）或使用 llamafactory gui 启动GUI，并通过几次点击开始作业。
跟踪 – 指标显示在LlamaBoard中；可选地将日志推送到WandB/MLflow/SwanLab。
服务 – 训练后，运行 llamafactory serve path/to/ckpt.yaml 以公开OpenAI风格端点或Gradio聊天界面。

谁应该使用？

研究人员 – 需要在不编写样板训练循环的情况下原型化新的微调配方。
产品团队 – 希望快速将公共LLM（例如，Llama 3、Qwen 3）适配到特定领域语料库。
教育工作者和学生 – 寻找用于RL-HF、偏好学习或多模态LLM实验的现成环境。
运维工程师 – 更喜欢可在云GPU、SageMaker或本地NPU集群上运行的容器化、可重现管道。

安装与部署选项

Pip – pip install llamafactory（添加 llamafactory CLI）。
Docker – docker pull hiyouga/llamafactory 然后挂载GPU设备运行。
Colab / DSW – README中链接的现成笔记本，用于免费层实验。
vLLM / SGLang – 在服务配置中设置 infer_backend: vllm（或 sglang），推理速度可提高2-3倍。

社区与生态系统

星标与活动 – >1k GitHub星标、CI测试、频繁发布。
行业采用 – 被Amazon、NVIDIA、Alibaba Cloud用于生产微调。
支持渠道 – Discord、微信群、官方博客以及不断增长的教程列表。
引用 – 提供论文 “LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models”（arXiv）以供学术引用。

TL;DR

LlamaFactory是一个全面的零代码平台，用于在多种硬件后端上微调各种LLM。它捆绑了最新的训练技巧，提供CLI和友好的GUI，支持实验跟踪，并可立即启动OpenAI兼容API来服务生成的模型。