unslothai/unsloth

Unsloth is a local UI for training and running Gemma 4, Qwen3.6, DeepSeek, Kimi, GLM and other models.

解決的問題

Unsloth 解決了執行和訓練大語言模型 (LLM) 時對計算資源的高需求問題。與標準方法相比，它提供了一種在顯著降低 VRAM 使用量並提高速度的情況下進行微調和推論的方法。

工作原理

該專案提供兩種主要介面：用於執行和訓練模型的 Web UI —— Unsloth Studio，以及面向開發者的程式碼版本 —— Unsloth Core。它利用使用 PyTorch 和 Hugging Face 構建的自定義 Triton 和數學內核來優化效能。它支援 GGUF 等各種量化格式，並允許使用 LoRA、QLoRA 和強化學習 (RL) 等高效訓練技術，且記憶體需求顯著降低。

適用對象

  • AI 開發人員：正在尋找高速、低記憶體微調和推論能力的人員。
  • 本地 LLM 愛好者：希望在消費級硬體（NVIDIA、AMD 和 Apple Silicon）上執行進階模型（文本、視覺、音訊）的人員。
  • 代理開發人員：需要透過相容的 API 將本地模型連接到 Claude Code 或 OpenAI Codex 等框架的人員。

亮點

  • 高效訓練：對於標準模型，可實現高達 2 倍的訓練速度提升和 70% 的 VRAM 使用量減少；對於 MoE 模型，速度提升可達 12 倍。
  • 多功能模型支援：支援文本、音訊、視覺和嵌入模型，包括 Llama、Mistral、Qwen 和 Gemma 等流行架構。
  • 多模態能力：支援與圖像、音訊、PDF 和程式碼進行對話。
  • 本地到代理整合：提供與 OpenAI/Anthropic 相容的 API，將本地模型連接到外部代理。
  • 硬體靈活性：可在 Windows、Linux、macOS 和 WSL 上執行，支援 NVIDIA、AMD 和 Apple Silicon GPU。