unslothai/unsloth

Unsloth is a local UI for training and running Gemma 4, Qwen3.6, DeepSeek, Kimi, GLM and other models.

解决的问题

Unsloth 解决了运行和训练大语言模型 (LLM) 时对计算资源的高需求问题。与标准方法相比，它提供了一种在显著降低 VRAM 使用量并提高速度的情况下进行微调和推理的方法。

工作原理

该项目提供两种主要接口：用于运行和训练模型的 Web UI —— Unsloth Studio，以及面向开发者的代码版本 —— Unsloth Core。它利用使用 PyTorch 和 Hugging Face 构建的自定义 Triton 和数学内核来优化性能。它支持 GGUF 等各种量化格式，并允许使用 LoRA、QLoRA 和强化学习 (RL) 等高效训练技术，且内存需求显著降低。

适用对象

  • AI 开发人员：正在寻找高速、低内存微调和推理能力的人员。
  • 本地 LLM 爱好者：希望在消费级硬件（NVIDIA、AMD 和 Apple Silicon）上运行高级模型（文本、视觉、音频）的人员。
  • 智能体开发人员：需要通过兼容的 API 将本地模型连接到 Claude Code 或 OpenAI Codex 等框架的人员。

亮点

  • 高效训练：对于标准模型，可实现高达 2 倍的训练速度提升和 70% 的 VRAM 使用量减少；对于 MoE 模型，速度提升可达 12 倍。
  • 多功能模型支持：支持文本、音频、视觉和嵌入模型，包括 Llama、Mistral、Qwen 和 Gemma 等流行架构。
  • 多模态能力：支持与图像、音频、PDF 和代码进行对话。
  • 本地到智能体集成：提供与 OpenAI/Anthropic 兼容的 API，将本地模型连接到外部智能体。
  • 硬件灵活性：可在 Windows、Linux、macOS 和 WSL 上运行，支持 NVIDIA、AMD 和 Apple Silicon GPU。