使用 Unsloth 和 Hugging Face Jobs 训练 AI 模型

Hugging Face 已将 Unsloth 与 Hugging Face Jobs 集成，以实现快速、低成本的 LLM 微调。此集成使用户能够利用 Unsloth 的高效性——提供约 2 倍更快的训练速度和 60% 更少的显存使用——以几美元的成本训练小型语言模型（SLM）。

小型语言模型的优化微调

小型语言模型，例如 LiquidAI/LFM2.5-1.2B-Instruct，非常适合微调，因为它们训练成本低，能够快速迭代，并且在特定任务上竞争力日益提升。LFM2.5-1.2B-Instruct 模型特别在 1GB 以下的内存运行，并针对在 CPU、手机和笔记本电脑上的设备端部署进行了优化。

通过 HF Jobs CLI 运行训练作业

用户可以通过 hf jobs CLI 将训练作业提交到完全托管的云 GPU。使用 curl -LsSf https://hf.co/cli/install.sh | bash 安装 CLI 后，可以使用如下命令提交作业：

# Example submission for LFM2.5-1.2B-Instruct
hf jobs uv run https://huggingface.co/datasets/unsloth/jobs/resolve/main/sft-lfm2.5.py \
    --flavor a10g-small  \
    --secrets HF_TOKEN  \
    --timeout 4h \
    --dataset mlabonne/FineTome-100k \
    --num-epochs 1 \
    --eval-split 0.2 \
    --output-repo your-username/lfm-finetuned

通过 Hugging Face Skills 集成 AI 代理

为降低使用门槛，Hugging Face 引入了 “skills”，使得 Claude Code 和 Codex 等编码代理能够通过提示来处理训练过程。

Claude Code 的安装

Claude Code 使用插件系统来发现 skills。安装包括添加市场并安装特定的模型训练器 skill：

  1. /plugin marketplace add huggingface/skills
  2. /plugin install hugging-face-model-trainer@huggingface-skills

Codex 的安装

Codex 使用 AGENTS.md 文件和 .agents/skills/ 目录。可以使用 $skill-installer 安装该 skill：

$skill-installer install https://github.com/huggingface/skills/tree/main/skills/hugging-face-model-trainer

通用安装

用户也可以克隆 skills 仓库并手动将 skill 复制到其代理的 skills 目录中：

git clone https://github.com/huggingface/skills.git
mkdir -p ~/.agents/skills && cp -R skills/skills/hugging-face-model-trainer ~/.agents/skills/

技术工作流与执行

skill 安装完成后，用户可以提示代理训练模型（例如 “在 HF Jobs 上使用 Unsloth 训练 LiquidAI/LFM2.5-1.2B-Instruct 于 mlabonne/FineTome-100k”）。代理随后执行以下工作流：

  1. 生成带有内联依赖的 UV 脚本。
  2. 通过 hf CLI 将脚本提交至 HF Jobs。
  3. 报告作业 ID 并通过 Trackio 提供监控 URL。
  4. 将最终训练好的模型推送到用户的 Hugging Face Hub 仓库。

硬件推荐与费用

训练费用根据模型规模和推荐的 GPU 类型而有所不同：

模型规模 推荐 GPU 近似费用/小时
<1B params t4-small ~$0.40
1-3B params t4-medium ~$0.60
3-7B params a10g-small ~$1.00
7-13B params a10g-large ~$3.00

编码代理的最佳实践

为优化使用编码代理进行训练的结果，Hugging Face 建议：

  • 提供模型和数据集的具体 Hub ID（例如 Qwen/Qwen2.5-0.5B）。
  • 明确提及 Unsloth，以确保使用它而非其他框架。
  • 在启动大型作业前请求费用估算。
  • 使用 Trackio 实时监控损失曲线。
  • 通过代理检查日志以查看作业状态。

SUMMARY: Hugging Face 已将 Unsloth 与 Hugging Face Jobs 集成，以实现快速、低成本的 LLM 微调，专为像 LiquidAI/LFM2.5-1.2B-Instruct 这样的小模型进行优化。

TITLE: 使用 Unsloth 和 Hugging Face Jobs 训练 AI 模型

Sources