unslothai/unsloth

解决的问题

Unsloth 是一个全面的工具集，可在多种硬件（NVIDIA、AMD、Intel GPU、CPU 和 Vulkan）上本地运行和训练 AI 模型。它解决了大型模型微调通常伴随的高 VRAM 要求和缓慢训练速度问题，使用户能够在不损失精度的情况下，实现 2 倍更快的训练速度，并将 VRAM 使用量降低 70%。

工作原理

Unsloth 提供三种主要接口：原生桌面应用（Unsloth Desktop）、基于 Web 的 UI（Unsloth Studio）和基于代码的库（Unsloth Core）。它支持广泛的模型类型，包括 LLM、扩散模型、嵌入模型和音频模型。在训练方面，它利用优化的内核和 LoRA、QLoRA、GRPO 等技术来减少资源消耗。它还包含「Data Recipes」，帮助用户从 PDF、CSV 等常见文件格式中构建数据集。

适用人群

专为希望在自有硬件上本地运行和微调前沿模型的开发者和 AI 研究人员设计，也适合希望将本地模型连接到 Claude Code 或 Codex 等智能体框架的用户。

主要亮点

• 硬件兼容性广泛：支持 Windows、Linux、macOS 和 WSL 上的 NVIDIA、AMD 和 Intel GPU。
• 高效训练：实现 2 倍速的微调，显著降低 VRAM 使用量。
• 模型支持广泛：兼容 LLM（如 Qwen、DeepSeek、Gemma）、扩散模型和 TTS。
• 智能体集成：unsloth start 命令可让本地模型通过 OpenAI 兼容 API 与 Claude Code、Codex 等智能体协同工作。
• 部署灵活：支持将模型导出为 GGUF、NVFP4 和 FP8 等格式。
• RAG 与搜索：内置私有网页搜索、深度研究和 RAG 功能。