Unsloth と Hugging Face Jobs で AI モデルをトレーニングする

Hugging Face は Unsloth と Hugging Face Jobs を統合し、迅速かつ低コストの LLM ファインチューニングを可能にしました。この統合により、ユーザーは Unsloth の効率性（約 2 倍速いトレーニングと VRAM 使用量 60% 削減）を活用して、数ドルで小型言語モデル（SLM）をトレーニングできます。

小型言語モデル向けの最適化されたファインチューニング

小型言語モデル（例：LiquidAI/LFM2.5-1.2B-Instruct）は、トレーニングコストが低く、迅速なイテレーションが可能で、特化したタスクでますます競争力を持つため、ファインチューニングに最適です。LFM2.5-1.2B-Instruct モデルは特に 1GB 未満のメモリで動作し、CPU、スマートフォン、ラップトップ上でのオンデバイス展開に最適化されています。

HF Jobs CLI を使用したトレーニングジョブの実行

ユーザーは hf jobs CLI を使用して、完全に管理されたクラウド GPU にトレーニングジョブを送信できます。curl -LsSf https://hf.co/cli/install.sh | bash で CLI をインストールした後、以下のようなコマンドでジョブを送信できます。

# Example submission for LFM2.5-1.2B-Instruct
hf jobs uv run https://huggingface.co/datasets/unsloth/jobs/resolve/main/sft-lfm2.5.py \
    --flavor a10g-small  \
    --secrets HF_TOKEN  \
    --timeout 4h \
    --dataset mlabonne/FineTome-100k \
    --num-epochs 1 \
    --eval-split 0.2 \
    --output-repo your-username/lfm-finetuned

Hugging Face Skills を使用した AI エージェント統合

参入障壁を下げるために、Hugging Face は「skills」を導入し、Claude Code や Codex といったコーディングエージェントがプロンプトでトレーニングプロセスを処理できるようにしました。

Claude Code のインストール

Claude Code はプラグインシステムを使用してスキルを検出します。インストールはマーケットプレイスを追加し、特定のモデルトレーナースキルをインストールすることです：

  1. /plugin marketplace add huggingface/skills
  2. /plugin install hugging-face-model-trainer@huggingface-skills

Codex のインストール

Codex は AGENTS.md ファイルと .agents/skills/ ディレクトリを利用します。スキルは $skill-installer を使用してインストールできます：

$skill-installer install https://github.com/huggingface/skills/tree/main/skills/hugging-face-model-trainer

汎用インストール

ユーザーはスキルリポジトリをクローンし、スキルをエージェントのスキルディレクトリに手動でコピーすることもできます：

git clone https://github.com/huggingface/skills.git
mkdir -p ~/.agents/skills && cp -R skills/skills/hugging-face-model-trainer ~/.agents/skills/

技術的なワークフローと実行

スキルがインストールされると、ユーザーはエージェントにモデルのトレーニングを指示できます（例："Train LiquidAI/LFM2.5-1.2B-Instruct on mlabonne/FineTome-100k using Unsloth on HF Jobs"）。エージェントは次のワークフローを実行します：

  1. インライン依存関係を含む UV スクリプトを生成します。
  2. hf CLI を介してスクリプトを HF Jobs に送信します。
  3. ジョブ ID を報告し、Trackio を通じて監視 URL を提供します。
  4. 最終的にトレーニングされたモデルをユーザーの Hugging Face Hub リポジトリにプッシュします。

ハードウェアの推奨とコスト

トレーニングコストはモデルサイズと推奨 GPU の種類に応じて変わります：

モデルサイズ 推奨 GPU 概算コスト/時
<1B params t4-small ~$0.40
1-3B params t4-medium ~$0.60
3-7B params a10g-small ~$1.00
7-13B params a10g-large ~$3.00

コーディングエージェントのベストプラクティス

トレーニングにコーディングエージェントを使用する際の結果を最適化するため、Hugging Face は次を推奨しています：

  • モデルやデータセットの具体的な Hub ID を提供する（例：Qwen/Qwen2.5-0.5B）。
  • Unsloth を明示的に言及し、他のフレームワークよりも使用されるようにする。
  • 大規模ジョブを開始する前にコスト見積もりを要求する。
  • Trackio を使用してリアルタイムのロス曲線を監視する。
  • エージェントを通じてログを確認し、ジョブのステータスをチェックする。

Sources