unslothai/unsloth

解决的问题

Unsloth 是一套用于在本地运行和训练 AI 模型的综合工具集。它解决了在消费级硬件上微调和部署大型语言模型 (LLMs) 及其他 AI 模型时，硬件要求过高和速度缓慢的问题。

运作方式

Unsloth 提供桌面应用程序、网页 UI (Unsloth Studio) 以及基于代码的版本 (Unsloth Core)。它优化了训练过程，让用户在不损失准确度的情况下，以减少 70% VRAM 的使用量，实现 2 倍的微调速度。它支持广泛的硬件 (NVIDIA, AMD, Intel GPUs, CPUs) 和格式 (GGUF, MLX, FP8)。

适用对象

专为开发人员、AI 研究人员和爱好者设计，适合希望在 Windows, macOS 和 Linux 上（包括使用消费级 GPU 的用户）本地运行、微调和部署 AI 模型的人士。

特色亮点

• 高性能训练：针对 LLMs、扩散模型、TTS 和嵌入模型进行微调，显著降低 VRAM 使用并提升速度。
• 广泛的硬件支持：兼容于多 GPU 设置、NVIDIA, AMD, Intel GPU、CPU 以及 Vulkan 后端。
• 本地代理整合：unsloth start 指令可通过与 OpenAI 和 Anthropic 兼容的 API，将本地模型连接至 Claude Code, Codex 等代理。
• 本地 RAG 与搜索：包含私有网页搜索、深度研究和 RAG 功能。
• 灵活部署：支持将模型导出为 GGUF, NVFP4 和 FP8 格式。
• 简易安装：提供原生桌面应用程序、Docker 镜像，或通过 shell 脚本安装于各种操作系统。