hiyouga/LlamaFactory

Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

What it solves

LLaMA Factory 提供了一個統一、零代碼的介面，用於微調各種大型語言模型 (LLMs)。它消除了管理超過 100 種不同模型之不同訓練腳本與超參數的技術複雜性，讓使用者能夠在不撰寫大量代碼的情況下，將模型適應於特定任務。

How it works

該專案提供了一個綜合性的工具包，整合了各種訓練方法與優化算法。使用者可以透過命令列介面 (CLI) 或名為 LlamaBoard 的網頁版 GUI 進行互動。它支援廣泛的微調技術，包括全量微調 (full-tuning)、凍結微調 (freeze-tuning) 以及參數高效微調方法，如 LoRA 和 QLoRA (支援多種位元深度)，以及先進的優化器與偏好學習算法 (PPO, DPO, KTO, ORPO)。

Who it’s for

它專為開發者與 AI 研究人員設計，這些人需要針對特定領域或任務（例如多輪對話、工具使用或多模態理解）微調 LLMs，而無需從頭開始構建自己的訓練流水線。

Highlights

  • Extensive Model Support: 兼容於 100+ 模型，包括 LLaMA, Mistral, Qwen, DeepSeek, 和 Gemma。
  • Zero-Code Interface: 提供 CLI 與 Gradio 驅動的 Web UI (LlamaBoard) 以進行輕鬆配置。
  • Scalable Tuning: 支援從 16-bit 全量微調到高度壓縮的 QLoRA (2-bit 到 模 8-bit)。
  • Multimodal Capabilities: 支援圖像理解、視覺定位 (visual grounding)、影片識別與音訊理解的微調。
  • High-Performance Inference: 整合了 vLLM 與 SGLang workers，可透過 OpenAI 形式的 API 實現加速模型部署。