hiyouga/LlamaFactory

Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

What it solves

LLaMA Factory 提供了一个统一、零代码的界面，用于微调各种大型语言模型 (LLMs)。它消除了管理超过 100 种不同模型之不同训练脚本和超参数的技术复杂性，让用户可以使用无需编写大量代码即可将模型适配到特定任务。

How it works

该项目提供了一个综合性的工具包，集成了各种训练方法和优化算法。用户可以通过命令行界面 (CLI) 或名为 LlamaBoard 的 Web 界面 (GUI) 进行交互。它支持广泛的微调技术，包括全量微调 (full-tuning)、冻结微调 (freeze-tuning) 以及参数高效微调方法，如 LoRA 和 QLoRA (支持多种位元深度)，以及先进的优化器和偏好学习算法 (PPO, DPO, KTO, ORPO)。

Who it’s for

它专为开发者和 AI 研究人员设计，需要针对特定领域或任务（例如多轮对话、工具使用或多模态理解）微调 LLMs，而无需从头开始构建自己的训练流水线。

Highlights

  • Extensive Model Support: 兼容于 100+ 模型，包括 LLaMA, Mistral, Qwen, DeepSeek, 和 Gemma。

  • Zero-Code Interface: 提供 CLI 和 Gradio 驱动的 Web UI (LlamaBoard) 以进行轻松配置。

  • Scalable Tuning: 支持从 0-bit 到 8-bit 的高度压缩 QLoRA (2-bit 到 8-nbit)，支持从 RA-bit ingtons full-tuning 16-bit full-tuning。

  • Multimodal Capabilities: 支持图像理解、视频识别、音频理解以及视觉定位 (visual grounding) 的微调。

  • High-Performance Inference: 集成了 vLLM 和 SGLang workers，可通过 OpenAI 形式的 API 实现加速模型部署。