unslothai/unsloth

解決的問題

Unsloth 是一套用於在本地運行和訓練 AI 模型的綜合工具集。它解決了在消費級硬體上微調和部署大型語言模型 (LLMs) 及其他 AI 模型時，硬體要求過高和速度緩慢的問題。

運作方式

Unsloth 提供桌面應用程式、網頁 UI (Unsloth Studio) 以及基於程式碼的版本 (Unsloth Core)。它優化了訓練過程，讓使用者在不損失準確度的情況下，以減少 70% VRAM 的使用量，實現 2 倍的微調速度。它支援廣泛的硬體 (NVIDIA, AMD, Intel GPUs, CPUs) 和格式 (GGUF, MLX, FP8)。

適用對象

專為開發人員、AI 研究人員和愛好者設計，適合希望在 Windows, macOS 和 Linux 上（包括使用消費級 GPU 的用戶）本地運行、微調和部署 AI 模型的人士。

特色亮點

• 高效能訓練：針對 LLMs、擴散模型、TTS 和嵌入模型進行微調，顯著降低 VRAM 使用並提升速度。
• 廣泛的硬體支援：相容於多 GPU 設定、NVIDIA, AMD, Intel GPU、CPU 以及 Vulkan 後端。
• 本地代理整合：unsloth start 指令可透過與 OpenAI 和 Anthropic 相容的 API，將本地模型連接至 Claude Code, Codex 等代理。
• 本地 RAG 與搜尋：包含私有網頁搜尋、深度研究和 RAG 功能。
• 靈活部署：支援將模型匯出為 GGUF, NVFP4 和 FP8 格式。
• 簡易安裝：提供原生桌面應用程式、Docker 映像檔，或透過 shell 指令碼安裝於各種作業系統。