unslothai/unsloth

何を解決するか

Unsloth は、NVIDIA、AMD、Intel GPU、CPU、Vulkan を含むさまざまなハードウェア上で、AIモデルをローカルで実行・トレーニングするための包括的なツールセットです。大規模モデルのファインチューニングに通常伴う高VRAM要件と遅いトレーニング速度を克服し、精度を損なうことなく、2倍速でトレーニング可能であり、VRAM使用量を70%削減できます。

仕組み

Unsloth は、ネイティブデスクトップアプリ（Unsloth Desktop）、WebベースUI（Unsloth Studio）、コードベースライブラリ（Unsloth Core）の3つの主要インターフェースを提供します。LLM、ディフュージョン、埋め込み、音声モデルなど、幅広いモデルタイプに対応しています。トレーニングでは、最適化されたカーネルとLoRA、QLoRA、GRPOなどの技術を活用してリソース消費を削減します。また、PDFやCSVなどの一般的なファイル形式からデータセットを構築するのに役立つ「Data Recipes」も搭載しています。

対象ユーザー

自宅のハードウェア上でフロンティアモデルをローカルで実行・ファインチューニングしたい開発者やAI研究者、またClaude CodeやCodexのようなエージェントフレームワークにローカルモデルを接続したいユーザーに最適です。

主な特徴

• ハードウェアの多様性: NVIDIA、AMD、Intel GPUを含む、Windows、Linux、macOS、WSLをサポート。
• 効率的なトレーニング: VRAM使用量を大幅に削減し、2倍速のファインチューニングを実現。
• 広範なモデル対応: LLM（例：Qwen、DeepSeek、Gemma）、ディフュージョンモデル、TTSに対応。
• エージェント連携: unsloth start コマンドにより、OpenAI互換APIを介してClaude CodeやCodexなどのエージェントとローカルモデルを連携可能。
• デプロイの柔軟性: GGUF、NVFP4、FP8などのフォーマットにモデルをエクスポート可能。
• RAG & 検索: プライベートWeb検索、ディープリサーチ、RAG機能を内蔵。