unslothai/unsloth-zoo

解决的问题

Unsloth Zoo 提供了一套实用工具与优化内核，旨在让大型语言模型 (LLM) 的微调过程变得更快速且更具内存效率。它解决了现代 Transformer 架构模型在微调时常见的高 VRAM 需求与训练速度缓慢的问题。

运作原理

本项目使用以 OpenAI 的 Triton 语言编写的自定义内核以及手动反向传播引擎来优化训练流程。这能实现更快的训练速度（最高提升 2.2 倍）并大幅降低 VRAM 使用量（最高减少 80%），且不会损失任何准确度。它支持多种训练模式，包括全参数微调、4-bit、8-bit 与 16-bit 训练，并兼容于 2018 年以后的 NVIDIA GPU。

适用对象

专为希望在自有硬件或免费笔记本（如 Colab）上微调 LLM（例如 Llama、Mistral、Qwen 与 Gemma），且无需庞大 GPU 集群的开发者与 AI 研究人员所设计。

特色亮点

• 极致效率：减少 50-80% 的 VRAM 使用量，并将训练速度提升 1.5 倍至 2.2 倍。
• 广泛的模型支持：兼容于所有 Transformer 架构模型，包括文本 LLM、多模态视觉模型与文本转语音 (TTS) 模型。
• 零准确度损失：使用精确计算而非近似方法。
• 灵活导出：支持将微调后的模型导出至 GGUF、Ollama、vLLM 或 Hugging Face。