hiyouga/LlamaFactory
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)
它解决了什么问题
LlamaFactory 简化了对 100 多种不同大语言模型 (LLMs) 进行微调和部署的过程。它通过提供一个统一、用户友好的界面来进行模型训练、评估和服务，消除了复杂编码的需求，即使是没有深厚机器学习专业知识的用户也能轻松上手。
工作原理
该项目提供了一个模块化框架，支持多种训练方法——从标准的监督微调到 DPO 和 PPO 等高级强化学习技术。用户可以通过零代码 Web UI (LLaMA Board) 或命令行界面 (CLI) 与系统交互。它集成了主流的硬件加速工具并支持多种模型架构，使用户能够以极少的配置在本地或云端训练模型。
适用人群
它专为需要针对特定任务（如工具使用、多轮对话或图像理解）定制大语言模型的开发者、研究人员和 AI 从业者设计，无需从零开始构建复杂的训练流水线。
亮点
- 广泛的模型支持：兼容 100 多种模型，包括 LLaMA, Mistral, Qwen, DeepSeek 和 Gemma。
- 零代码界面：包含基于 Gradio 的 Web UI，用于可视化模型管理和训练。
- 高效训练：支持 QLoRA, FlashAttention-2 和 Unsloth 等先进的内存优化技术，可在消费级硬件上训练大模型。
- 部署就绪：内置支持使用 vLLM 或 SGLang 进行 OpenAI 风格的 API 部署，实现高速推理。
- 实验跟踪：集成 TensorBoard, Wandb 和 SwanLab 等工具，实时监控训练进度。
相关
- 项目
OptimalScale/LMFlowLMFlow 是一个可扩展的 Python 工具箱，用于微调大型语言模型。支持全参数训练、LoRA、内存高效的 LISA 算法、QLoRA 量化，以及一系列加速技巧（FlashAttention‑2、DeepSpeed、vLLM、SGLang）。训练完成后，提供简单的聊天式推理脚本和可选的 Gradio/Flask 部署。该库专为 Linux/Colab 环境设计，还提供多模态模型、分布式奖励模型推理等可选扩展功能。
- 项目
Goekdeniz-Guelmez/mlx-lm-loraMLX-LM-LoRA 是一个 Python 库，支持在 Apple 芯片 Mac 上使用 MLX 框架微调大型语言模型。它支持 LoRA/DoRA 适配器、全精度和量化训练（QLoRA、QAT），以及许多基于偏好的优化方法（SFT、DPO、ORPO、DSLA、GRPO、RLHF、PPO 等）。使用 `pip install mlx-lm-lora` 安装，然后运行 `mlx_lm_lora.train` 并附带标志或 YAML 配置，即可在 Mac 上本地训练 Llama、Mistral、Qwen、Gemma 等模型。
- 项目
h2oai/h2o-llmstudioH2O LLM Studio 是一个 Python 框架，带有基于 Web 的 GUI（以及 CLI），可让您无需编写代码即可微调任何 Hugging Face LLM。它支持 LoRA、8 位训练、DeepSpeed 分片，以及最新的 DPO/IPO/KTO 优化器，提供实时指标、基于聊天的测试，以及一键导出到 Hugging Face。通过 `uv`（或 Docker）安装，运行 localhost:10101 上的 UI，并遵循简单的实验创建-训练-评估循环。
- 项目
- 项目
opendilab/LightRFTLightRFT 是一个开源、分布式强化学习框架，用于微调大型语言和多模态生成模型。它统一了训练后端（DeepSpeed, FSDP）与 Rollout 引擎（SGLang, vLLM），支持多种 RL 算法（GRPO, REINFORCE++, DAPO 等），并可跨文本、图像、视频和音频模态运行。该库提供即插即用的示例（例如使用 Qwen2.5 进行 GSM8K）、详尽的文档和 Docker 镜像，非常适合开发 RL 基于对齐管道的研究人员和工程师。