unslothai/unsloth

解決的問題

Unsloth 是一套完整的工具集，可在多種硬體（NVIDIA、AMD、Intel GPU、CPU 和 Vulkan）上本地執行與訓練 AI 模型。它解決了大型模型微調常見的高 VRAM 要求與緩慢訓練速度問題，讓使用者能在不損失準確度的情況下，實現 2 倍快的訓練速度，並減少 70% 的 VRAM 使用量。

工作原理

Unsloth 提供三種主要介面：原生桌面應用程式（Unsloth Desktop）、基於 Web 的 UI（Unsloth Studio）以及程式碼導向的函式庫（Unsloth Core）。支援廣泛的模型類型，包括 LLM、擴散模型、嵌入模型與音訊模型。在訓練方面，它利用優化內核與 LoRA、QLoRA、GRPO 等技術來降低資源消耗。同時也包含「Data Recipes」，協助使用者從 PDF、CSV 等常見檔案格式中建立資料集。

適用對象

專為希望在自有硬體上本地執行與微調前沿模型的開發者與 AI 研究人員設計，也適合希望將本地模型連結至 Claude Code 或 Codex 等智能體框架的使用者。

主要特色

• 硬體相容性廣：支援 Windows、Linux、macOS 與 WSL 上的 NVIDIA、AMD 與 Intel GPU。
• 高效訓練：實現 2 倍快的微調速度，大幅降低 VRAM 使用量。
• 模型支援廣泛：相容 LLM（如 Qwen、DeepSeek、Gemma）、擴散模型與 TTS。
• 智能體整合：unsloth start 命令可讓本地模型透過 OpenAI 兼容 API 與 Claude Code、Codex 等智能體協同運作。
• 部署彈性：支援將模型匯出為 GGUF、NVFP4 與 FP8 等格式。
• RAG 與搜尋：內建私人網頁搜尋、深度研究與 RAG 功能。