unslothai/unsloth

解決する課題

Unslothは、大規模言語モデル（LLM）の実行とトレーニングにおける高い計算需要に対処します。標準的な手法と比較して、VRAM使用量を大幅に削減し、速度を向上させた状態でファインチューニングと推論を行う方法を提供します。

仕組み

このプロジェクトは、主に2つのインターフェースを提供しています。モデルの実行とトレーニングを行うためのWebベースのUIであるUnsloth Studioと、開発者向けのコードベースのバージョンであるUnsloth Coreです。PyTorchとHugging Faceを使用して構築されたカスタムのTritonおよび数学的カーネルを利用してパフォーマンスを最適化します。GGUFなどの様々な量子化フォーマットをサポートし、LoRA、QLoRA、強化学習（RL）といった効率的なトレーニング技術を、大幅に低いメモリ要件で実現します。

対象者

• AI開発者: 高速かつ低メモリなファインチューニングおよび推論機能を求める方。
• ローカルLLM愛好家: コンシューマー向けハードウェア（NVIDIA、AMD、Apple Silicon）で高度なモデル（テキスト、ビジョン、オーディオ）を実行したい方。
• エージェント開発者: ローカルモデルを、互換性のあるAPIを介してClaude CodeやOpenAI Codexなどのフレームワークに接続する必要がある方。

ハイライト

• 高効率なトレーニング: 標準的なモデルで最大2倍速いトレーニングと70%少ないVRAM使用量を実現し、MoEモデルでは最大12倍の高速化を実現します。
• 多様なモデルサポート: Llama、Mistral、Qwen、Gemmaなどの人気アーキテクチャを含む、テキスト、オーディオ、ビジョン、および埋め込みモデルをサポートします。
• マルチモーダル機能: 画像、オーディオ、PDF、およびコードとのチャットを可能にします。
• ローカルからエージェントへの統合: ローカルモデルを外部エージェントに接続するためのOpenAI/Anthropic互換APIを提供します。
• ハードウェアの柔軟性: Windows、Linux、macOS、およびWSLで動作し、NVIDIA、AMD、およびApple Silicon GPUをサポートします。