unslothai/unsloth

Local UI to run and train LLMs and diffusion models. Supports GGUF, MLX, Qwen3.8, DeepSeek-V4, MiniMax-H3, Gemma 4, FLUX and more.

해결하는 문제

Unsloth는 다양한 하드웨어에서 AI 모델을 로컬로 실행하고 학습하기 위한 종합 플랫폼입니다. 대규모 언어 모델(LLM) 및 기타 AI 모델의 미세 조정과 관련된 높은 VRAM 요구 사항과 느린 학습 속도 문제를 해결하여, 정확도 손실 없이 70% 적은 VRAM으로 2배 더 빠르게 모델을 학습할 수 있게 합니다.

작동 방식

Unsloth는 네이티브 데스크톱 앱(Unsloth Desktop), 웹 기반 UI(Unsloth Studio), 코드 기반 버전(Unsloth Core)의 세 가지 주요 인터페이스를 제공합니다. NVIDIA, AMD, Intel GPU, CPU를 비롯해 Windows, Linux, macOS의 Vulkan 백엔드까지 광범위한 하드웨어를 지원합니다. 이 시스템을 통해 사용자는 LLM, 확산 모델, 임베딩 모델, 오디오 모델을 실행 및 학습할 수 있으며, PDF, CSV, DOCX 파일에서 데이터셋을 구축하는 도구도 제공합니다.

대상 사용자

소비자용 하드웨어에서 로컬 모델 학습 및 추론을 수행하려는 개발자, AI 연구원, 애호가를 위해 설계되었습니다. 또한 Claude Code나 Codex와 같은 도구를 사용하여 로컬 모델을 에이전트 워크플로우에 통합하려는 사용자에게도 적합합니다.

주요 특징

고효율 학습: 미세 조정 속도가 2배 빨라지고 VRAM 사용량이 70% 감소합니다.
광범위한 하드웨어 지원: Windows, Linux, macOS에서 작동하며 멀티 GPU, NVIDIA, AMD, Intel 및 CPU를 지원합니다.
에이전트 통합: 단일 명령어(unsloth start)로 로컬 모델을 Claude Code 및 Codex와 같은 에이전트에 연결할 수 있습니다.
다양한 모델 지원: LLM, 확산 모델, TTS, 임베딩 모델을 지원하며 GGUF, NVFP4, FP8과 같은 형식을 포함합니다.
고급 학습 기술: LoRA, QLoRA, 전체 미세 조정, 사전 학습, RL, GRPO, DPO를 완벽하게 지원합니다.
RAG 및 검색: 개인용 웹 검색, 심층 연구 및 RAG 기능을 포함합니다.