使用 Unsloth 與 Hugging Face Jobs 訓練 AI 模型

Hugging Face 已將 Unsloth 與 Hugging Face Jobs 整合，以實現快速、低成本的 LLM 微調。此整合讓使用者能夠利用 Unsloth 的高效能——提供大約 2 倍更快的訓練速度與 60% 更少的 VRAM 使用量——以僅需幾美元的成本訓練小型語言模型（SLM）。

小型語言模型的最佳化微調

小型語言模型，例如 LiquidAI/LFM2.5-1.2B-Instruct，非常適合微調，因為它們訓練成本低、可快速迭代，且在特定任務上競爭力日益提升。LFM2.5-1.2B-Instruct 模型特別能在低於 1GB 記憶體的環境下運行，並針對在 CPU、手機與筆記型電腦上的裝置端部署進行了最佳化。

透過 HF Jobs CLI 執行訓練工作

使用者可以透過 hf jobs CLI 將訓練工作提交至全代管的雲端 GPU。使用 curl -LsSf https://hf.co/cli/install.sh | bash 安裝 CLI 後，即可使用以下指令提交工作：

# Example submission for LFM2.5-1.2B-Instruct
hf jobs uv run https://huggingface.co/datasets/unsloth/jobs/resolve/main/sft-lfm2.5.py \
    --flavor a10g-small  \
    --secrets HF_TOKEN  \
    --timeout 4h \
    --dataset mlabonne/FineTome-100k \
    --num-epochs 1 \
    --eval-split 0.2 \
    --output-repo your-username/lfm-finetuned

透過 Hugging Face Skills 整合 AI 代理

為降低入門門檻，Hugging Face 推出了「skills」，讓像 Claude Code 與 Codex 這樣的程式編寫代理能透過提示來處理訓練流程。

Claude Code 的安裝

Claude Code 使用外掛系統來發現 skills。安裝步驟包括加入 marketplace 並安裝特定的模型訓練 skill：

  1. /plugin marketplace add huggingface/skills
  2. /plugin install hugging-face-model-trainer@huggingface-skills

Codex 的安裝

Codex 使用 AGENTS.md 檔案與 .agents/skills/ 目錄。可透過 $skill-installer 安裝此 skill：

$skill-installer install https://github.com/huggingface/skills/tree/main/skills/hugging-face-model-trainer

通用安裝方式

使用者也可以克隆 skills 倉庫，並手動將 skill 複製到其代理的 skills 目錄：

git clone https://github.com/huggingface/skills.git
mkdir -p ~/.agents/skills && cp -R skills/skills/hugging-face-model-trainer ~/.agents/skills/

技術工作流程與執行

Skill 安裝完成後，使用者即可提示代理訓練模型（例如「在 HF Jobs 上使用 Unsloth 訓練 LiquidAI/LFM2.5-1.2B-Instruct 於 mlabonne/FineTome-100k」）。代理將執行以下工作流程：

  1. 產生包含內嵌相依性的 UV 腳本。
  2. 透過 hf CLI 將腳本提交至 HF Jobs。
  3. 回報工作 ID，並透過 Trackio 提供監控 URL。
  4. 將最終訓練好的模型推送至使用者的 Hugging Face Hub 倉庫。

硬體建議與成本

訓練成本會依模型大小與建議的 GPU 類型而異：

模型大小 建議 GPU 每小時大約成本
<1B params t4-small ~$0.40
1-3B params t4-medium ~$0.60
3-7B params a10g-small ~$1.00
7-13B params a10g-large ~$3.00

程式編寫代理的最佳實踐

為了在使用程式編寫代理進行訓練時取得最佳結果，Hugging Face 建議：

  • 提供模型與資料集的具體 Hub ID（例如 Qwen/Qwen2.5-0.5B）。
  • 明確提及 Unsloth，以確保使用它而非其他框架。
  • 在啟動大型工作前請求成本估算。
  • 使用 Trackio 進行即時損失曲線監控。
  • 透過代理檢查日誌以確認工作狀態。

Sources