unsloth: 它是什麼、解決什麼問題以及為什麼它正受到關注

它解決了什麼問題

Unsloth 旨在讓大型語言模型 (LLMs) 的運行和訓練變得顯著更快且更節省記憶體。它解決了在消費級硬體上本地微調和部署 AI 模型時，通常伴隨的高硬體需求和低速度問題。

它是如何運作的

該專案提供兩個主要的介面：Unsloth Studio (一個基於 Web 的 UI) 和 Unsloth Core (一個基於程式碼的函式庫)。它利用自定義的 Triton 和數學核心 (kernels) 來優化效能，讓使用者在不損失準確度的情況下，訓練速度提升高達 2 倍，且 VRAM 使用量減少高達 70%。它支援多種格式 (GGUF, LoRA adapters, safetensors) 和訓練方法，包括全量微調 (full fine-tuning)、透過 GRPO 進行的強化學習 (RL)，以及 FP8 訓練。

對象是誰

它適用於想要在 Windows、Linux 和 macOS 上本地運行、微調和部署 LLM、視覺、音訊和嵌入模型 (embedding models) 的開發者和 AI 從業者，特別是使用 NVIDIA、AMD、Intel 或 Apple Silicon (MLX) 硬體的使用者。

重點特色

• 高效能：訓練速度提升高達 2 倍，且 VRAM 使用量減少高達 70%。
• 多模態支援：支援文字、音訊、視覺和嵌入模型。
• RL 優化：高效能的強化學習函式庫，使用 GRPO 時可減少 80% 的 VRAM。
• 全面的工具鏈：包括用於模型搜尋、下載和運行的 Web UI，以及用於從 PDF、CSV 和 DOCX 檔案建立資料集的視覺化節點工作流。
• 跨平台相容性：可在 Windows、Linux、macOS 和 WSL 上運行，支援各種 GPU 架構 (NVIDIA, RTX 50 series, AMD, Intel)。
• 推論功能：支援工具調用 (tool calling)、沙盒環境中的程式碼執行，以及 API 推論端點 (inference endpoints)。