unslothai/unsloth-zoo

解決する課題

Unsloth Zooは、大規模言語モデル（LLM）の微調整を大幅に高速化し、メモリ効率を高めるためのユーティリティと最適化されたカーネルを提供します。現代のTransformerベースのモデルの微調整に伴う、高いVRAM要件と遅い学習速度という課題に対処します。

仕組み

このプロジェクトでは、OpenAIのTriton言語で記述されたカスタムカーネルと手動のバックプロパゲーションエンジンを使用して、学習プロセスを最適化しています。これにより、精度を損なうことなく、より高速な学習（最大2.2倍）と大幅なVRAM使用量の削減（最大80%削減）を実現します。フルファインチューニング、4-bit、8-bit、16-bit学習など、さまざまな学習モードをサポートしており、2018年以降のNVIDIA GPUと互換性があります。

対象ユーザー

巨大なGPUクラスターを必要とせずに、自身のハードウェアや無料のノートブック環境（Colabなど）でLLM（Llama、Mistral、Qwen、Gemmaなど）を微調整したい開発者やAI研究者向けに設計されています。

ハイライト

• 極めて高い効率: VRAM使用量を50〜80%削減し、学習速度を1.5倍から2.2倍に向上させます。
• 幅広いモデルサポート: テキストLLM、マルチモーダルビジョンモデル、テキスト読み上げ（TTS）モデルを含む、すべてのTransformerベースのモデルと互換性があります。
• 精度低下ゼロ: 近似手法ではなく、正確な計算を使用します。
• 柔軟なエクスポート: 微調整したモデルをGGUF、Ollama、vLLM、またはHugging Faceへエクスポートすることをサポートしています。