unslothai/unsloth

해결하는 문제

Unsloth은 NVIDIA, AMD, Intel GPU, CPU, Vulkan을 포함한 다양한 하드웨어에서 로컬로 AI 모델을 실행하고 훈련할 수 있는 포괄적인 도구 세트입니다. 대규모 모델의 파인튜닝 시 일반적으로 발생하는 높은 VRAM 요구량과 느린 훈련 속도를 해결하여, 정확도를 유지하면서도 2배 빠른 훈련 속도와 70% 감소된 VRAM 사용량을 제공합니다.

작동 방식

Unsloth은 네이티브 데스크톱 애플리케이션(Unsloth Desktop), 웹 기반 UI(Unsloth Studio), 코드 기반 라이브러리(Unsloth Core)의 세 가지 주요 인터페이스를 제공합니다. LLM, 디퓨전, 임베딩, 오디오 모델 등 다양한 모델 유형을 지원합니다. 훈련 시에는 최적화된 커널과 LoRA, QLoRA, GRPO와 같은 기술을 활용해 자원 소비를 줄입니다. 또한 PDF, CSV와 같은 일반적인 파일 형식에서 데이터셋을 구축하는 데 도움이 되는 "Data Recipes"도 포함되어 있습니다.

대상 사용자

자신의 하드웨어에서 프론티어 모델을 로컬로 실행하고 파인튜닝하고 싶은 개발자 및 AI 연구자, 또는 Claude Code나 Codex와 같은 에이전트 프레임워크에 로컬 모델을 연결하고 싶은 사용자에게 적합합니다.

주요 특징

• 하드웨어 유연성: NVIDIA, AMD, Intel GPU를 지원하며 Windows, Linux, macOS, WSL 모두에서 작동 가능.
• 효율적인 훈련: VRAM 사용량을 크게 줄이고, 2배 빠른 파인튜닝을 제공.
• 광범위한 모델 지원: LLM(예: Qwen, DeepSeek, Gemma), 디퓨전 모델, TTS 등과 호환.
• 에이전트 통합: unsloth start 명령어를 통해 OpenAI 호환 API를 통해 Claude Code, Codex 등의 에이전트와 로컬 모델을 연동 가능.
• 배포 유연성: GGUF, NVFP4, FP8 등의 포맷으로 모델 내보내기 지원.
• RAG 및 검색: 내장된 개인용 웹 검색, 심층 연구, RAG 기능 제공.