hiyouga/LlamaFactory

LlamaFactory – 數十種LLM的一鍵微調

它是什麼 – LlamaFactory是一個開源Python工具包，讓您幾乎無需編寫程式碼即可微調、評估和提供100多個大型語言模型（LLM）。它附帶命令列介面和基於Gradio的Web UI（LlamaBoard），因此您可以在本機或雲端（Colab、SageMaker、AMD/Ascend GPU等）執行實驗。

為什麼重要 – 訓練或適配現代LLM通常需要深入了解分散式訓練、量化和最佳化器技巧。LlamaFactory捆綁了大量最先進的方法（LoRA、QLoRA、FlashAttention-2、GaLore、BAdam、ORPO、DPO、PPO、KTO等），並透過簡單的YAML設定即可選擇。結果是「零程式碼」工作流程，同時仍能存取最新研究。

核心功能

類別	您可以做什麼
模型覆蓋	LLaMA-1/2/3/4、LLaVA、Mistral、Mixtral-MoE、Qwen 2/3/2.5-VL、DeepSeek、Gemma 3、GLM-4、Phi-4、InternLM、MiniCPM-o、PaliGemma等
訓練範式	全參數、凍結微調、8位元/4位元/2位元QLoRA、LoRA+、LongLoRA、DoRA、區塊擴展、持續預訓練、監督微調、多模態（影像/視訊/音訊）微調、獎勵建模、PPO/DPO/ORPO/KTO、透過EasyR1進行強化學習
最佳化器與技巧	GaLore、BAdam、APOLLO、Adam-mini、Muon、OFT/OFTv2、NEFTune、rsLoRA、RoPE縮放、FlashAttention-2、Unsloth、Liger-Kernel、KTransformers、SGLang/vLLM推論後端
硬體支援	NVIDIA GPU、AMD ROCm、Ascend NPU、Intel Gaudi、SageMaker HyperPod、Docker容器、Colab筆記本
監控	TensorBoard、Weights & Biases、MLflow、SwanLab、內建LlamaBoard UI
部署	OpenAI相容REST API、Gradio UI、用於高吞吐量服務的vLLM或SGLang工作節點
資料處理	內建資料集載入器、資料中心管道（DataFlow、DataFlex）、自動打包以避免污染

典型工作流程（快速入門）

安裝 – pip install llamafactory 或拉取Docker映像 hiyouga/llamafactory。
準備資料 – 將訓練集放在資料夾中，或使用提供的範例（例如，用於工具使用的 glaive_toolcall_en）。LlamaFactory也可以從ModelScope/Modelers Hub下載。
建立設定 – 一個簡短的YAML檔案選擇模型、資料集、微調方法（例如，lora）、量化位數以及任何特殊技巧（use_unsloth: true）。
執行 – llamafactory train path/to/config.yaml（CLI）或使用 llamafactory gui 啟動GUI，並透過幾次點擊開始作業。
追蹤 – 指標顯示在LlamaBoard中；可選地將日誌推送到WandB/MLflow/SwanLab。
服務 – 訓練後，執行 llamafactory serve path/to/ckpt.yaml 以公開OpenAI風格端點或Gradio聊天介面。

誰應該使用？

研究人員 – 需要在不編寫樣板訓練迴圈的情況下原型化新的微調配方。
產品團隊 – 希望快速將公共LLM（例如，Llama 3、Qwen 3）適配到特定領域語料庫。
教育工作者和學生 – 尋找用於RL-HF、偏好學習或多模態LLM實驗的現成環境。
運維工程師 – 更喜歡可在雲端GPU、SageMaker或本地NPU叢集上執行的容器化、可重現管道。

安裝與部署選項

Pip – pip install llamafactory（新增 llamafactory CLI）。
Docker – docker pull hiyouga/llamafactory 然後掛載GPU裝置執行。
Colab / DSW – README中連結的現成筆記本，用於免費層實驗。
vLLM / SGLang – 在服務設定中設定 infer_backend: vllm（或 sglang），推論速度可提高2-3倍。

社群與生態系統

星標與活動 – >1k GitHub星標、CI測試、頻繁發布。
產業採用 – 被Amazon、NVIDIA、Alibaba Cloud用於生產微調。
支援管道 – Discord、微信群、官方部落格以及不斷增長的教學清單。
引用 – 提供論文 “LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models”（arXiv）以供學術引用。

TL;DR

LlamaFactory是一個全面的零程式碼平台，用於在多種硬體後端上微調各種LLM。它捆綁了最新的訓練技巧，提供CLI和友好的GUI，支援實驗追蹤，並可立即啟動OpenAI相容API來服務生成的模型。