Unsloth와 Hugging Face Jobs로 AI 모델 훈련

Hugging Face는 Unsloth를 Hugging Face Jobs와 통합하여 빠르고 저비용의 LLM 파인튜닝을 가능하게 했습니다. 이 통합을 통해 사용자는 Unsloth의 효율성을 활용할 수 있으며—훈련 속도가 약 2배 빨라지고 VRAM 사용량이 60% 감소—몇 달러만으로 소형 언어 모델(SLM)을 훈련할 수 있습니다.

소형 언어 모델을 위한 최적화된 파인튜닝

소형 언어 모델은 LiquidAI/LFM2.5-1.2B-Instruct와 같이 훈련 비용이 저렴하고, 빠른 반복이 가능하며, 특정 작업에서 점점 경쟁력을 갖추고 있기 때문에 파인튜닝에 이상적입니다. LFM2.5-1.2B-Instruct 모델은 메모리 사용량이 1GB 이하이며, CPU, 휴대폰, 노트북 등 장치에서의 배포에 최적화되어 있습니다.

HF Jobs CLI를 통한 훈련 작업 실행

사용자는 hf jobs CLI를 사용하여 완전 관리형 클라우드 GPU에 훈련 작업을 제출할 수 있습니다. curl -LsSf https://hf.co/cli/install.sh | bash 로 CLI를 설치한 후, 다음과 같은 명령으로 작업을 제출할 수 있습니다:

# Example submission for LFM2.5-1.2B-Instruct
hf jobs uv run https://huggingface.co/datasets/unsloth/jobs/resolve/main/sft-lfm2.5.py \
    --flavor a10g-small  \
    --secrets HF_TOKEN  \
    --timeout 4h \
    --dataset mlabonne/FineTome-100k \
    --num-epochs 1 \
    --eval-split 0.2 \
    --output-repo your-username/lfm-finetuned

Hugging Face Skills를 통한 AI 에이전트 통합

진입 장벽을 낮추기 위해 Hugging Face는 Claude Code와 Codex와 같은 코딩 에이전트가 프롬프트를 통해 훈련 과정을 처리할 수 있도록 하는 “skills”를 도입했습니다.

Claude Code 설치

Claude Code는 플러그인 시스템을 사용해 skills를 탐색합니다. 설치는 마켓플레이스를 추가하고 특정 모델 트레이너 skill을 설치하는 과정을 포함합니다:

  1. /plugin marketplace add huggingface/skills
  2. /plugin install hugging-face-model-trainer@huggingface-skills

Codex 설치

Codex는 AGENTS.md 파일과 .agents/skills/ 디렉터리를 활용합니다. skill은 $skill-installer를 사용해 설치할 수 있습니다:

$skill-installer install https://github.com/huggingface/skills/tree/main/skills/hugging-face-model-trainer

일반 설치

사용자는 또한 skills 저장소를 클론하고 skill을 에이전트의 skills 디렉터리로 수동 복사할 수 있습니다:

git clone https://github.com/huggingface/skills.git
mkdir -p ~/.agents/skills && cp -R skills/skills/hugging-face-model-trainer ~/.agents/skills/

기술 워크플로우 및 실행

skill이 설치되면 사용자는 에이전트에게 모델 훈련을 요청할 수 있습니다(예: “HF Jobs에서 Unsloth를 사용해 mlabonne/FineTome-100k 데이터로 LiquidAI/LFM2.5-1.2B-Instruct를 훈련해 주세요”). 에이전트는 다음 워크플로우를 실행합니다:

  1. 인라인 종속성을 포함한 UV 스크립트를 생성합니다.
  2. hf CLI를 통해 스크립트를 HF Jobs에 제출합니다.
  3. 작업 ID를 보고하고 Trackio를 통한 모니터링 URL을 제공합니다.
  4. 최종 훈련된 모델을 사용자의 Hugging Face Hub 저장소에 푸시합니다.

하드웨어 권장 사항 및 비용

훈련 비용은 모델 크기와 권장 GPU 종류에 따라 달라집니다:

모델 크기 권장 GPU 시간당 대략 비용
<1B 파라미터 t4-small ~$0.40
1-3B 파라미터 t4-medium ~$0.60
3-7B 파라미터 a10g-small ~$1.00
7-13B 파라미터 a10g-large ~$3.00

코딩 에이전트를 위한 모범 사례

훈련에 코딩 에이전트를 사용할 때 결과를 최적화하기 위해 Hugging Face는 다음을 권장합니다:

  • 모델 및 데이터셋에 대한 구체적인 Hub ID 제공 (예: Qwen/Qwen2.5-0.5B).
  • 다른 프레임워크보다 Unsloth가 사용되도록 명시적으로 언급합니다.
  • 대규모 작업을 시작하기 전에 비용 추정을 요청합니다.
  • 실시간 손실 곡선 모니터링을 위해 Trackio를 사용합니다.
  • 작업 상태를 확인하기 위해 에이전트를 통해 로그를 검사합니다.

Sources