hiyouga/LlamaFactory

LlamaFactory – 100種類以上のLLMをワンクリックで微調整

概要 LlamaFactoryは、オープンソースのPythonライブラリ（PyPIでも提供）であり、古典的なLLaMAスタイルのモデルから、マルチモーダルなLLaVA、Mistral、Mixtral‑MoE、Qwen、Gemma、GLM、Phiなど、多種多様な大規模言語モデルを微調整できます。コード不要のCLIと**GradioベースのWeb UI (LlamaBoard)**を提供しているため、Pythonスクリプトを書かずに、ノートPC、クラウドノートブック、またはマルチGPUクラスターでトレーニングを開始できます。

重要性 現代のLLMの微調整には、通常、低レベルのライブラリ（PEFT、DeepSpeed、FSDPなど）の操作が必要です。LlamaFactoryはその複雑さを隠蔽し、最先端のトレーニング手法（LoRA、QLoRA、FlashAttention‑2、Unsloth、Liger‑Kernel、KTransformersなど）やオプティマイザー（GaLore、BAdam、APOLLO、Muon、Adam‑mini、DoRA、LongLoRAなど）を多数統合しています。その結果、単一の設定ファイルで、数百万パラメーターから70 B規模のモデルまで、一般的なハードウェアでトレーニング可能になります。

主な機能（READMEより）

• モデル対応 – LLaMA‑1/2/3/4, LLaVA, Mistral, Mixtral‑MoE, Qwen 2/3, Qwen‑VL, DeepSeek, Gemma 3, GLM‑4, Phi‑4, InternLM, MiniCPM‑o, PaliGemma など。
• トレーニング手法 – 標準的な教師あり微調整、継続的事前学習、報酬モデリング、PPO、DPO、KTO、ORPO、その他の選好学習アルゴリズム。
• パラメーター効率の良い微調整 – フル精度 16‑bit、フリーズチューニング、LoRA、および 2‑8‑bit QLoRA (AQLM, AWQ, GPTQ, LLM.int8, HQQ, EETQ)。
• パフォーマンス向上手法 – FlashAttention‑2, Unsloth, Liger‑Kernel, KTransformers, RoPE scaling, NEFTune, rsLoRA など。
• ハードウェアの柔軟性 – NVIDIA GPU、AMD ROCm、Ascend NPUで動作。2 × 24 GB GPUで70 BモデルをFSDP + QLoRAでトレーニング可能。
• 推論バックエンド – OpenAIスタイルのREST API、Gradio UI、CLI。高スループットなサービングのためにvLLMまたはSGLangワーカーをオプションで利用可能。
• 実験追跡 – TensorBoard、Weights & Biases、MLflow、SwanLabを内蔵サポート。
• デプロイメント – チェックポイントをHugging Face、ModelScope、Modelers Hub、またはOllama modelfilesとしてエクスポート。OpenAI互換のAPIコンテナとして実行可能。
• コミュニティとエコシステム – Amazon、NVIDIA、Alibaba Cloudで利用。Discord、WeChatグループ、専用ブログ、Docker HubのDockerイメージを提供。

典型的なワークフロー

1. インストール (pip install llamafactory またはDockerイメージをプル)。
2. データ準備 – READMEの data-preparation セクションを参照。テキスト、チャット、ツール呼び出し、画像、動画、音声データセットのサンプルスクリプトを提供。
3. YAML設定ファイルの作成 – モデル、トレーニング手法、LoRA/QLoRA設定、パフォーマンス向上手法を選択。
4. 実行 – llamafactory train config.yaml (CLI) またはGradio UI (llamafactory gui) を起動してトレーニングを開始し、LlamaBoardで監視・ログ確認。
5. エクスポート – トレーニング後、llamafactory export を使用して推論用モデルを作成し、内蔵のOpenAI互換APIまたはvLLMワーカー経由で提供。

学習リソース

• READMEの Quickstart セクションで最小限のCLIコマンドを紹介。
• Colab notebook (無料GPU) および PAI‑DSW リンクでクラウド試用が可能。
• ドキュメント (llamafactory.readthedocs.io) およびパフォーマンス比較Wiki。
• KTransformers、データ中心パイプライン、マルチモーダル微調整に関する ブログ記事。

対象ユーザー

• トレーニングループを書き直すことなく、多くのLLMファミリーを実験したい研究者。
• カスタムアシスタントの微調整とデプロイのためにコード不要のUIを求める製品チーム。
• LoRA/QLoRAを使用して単一GPUで7‑Bモデルを微調整したいホビーユーザー。
• 大規模なモデル適応のためのスケーラブルで再現性のあるパイプラインを必要とする企業（Amazon, NVIDIA, Alibaba）。

インストールスニペット (READMEより)

# via pip
pip install llamafactory

# or pull the official Docker image
docker pull hiyouga/llamafactory

ライセンス – Apache 2.0 (ライセンスセクションに記載)。

---

上記の詳細はすべてリポジトリのREADMEから直接引用したものであり、追加機能は一切含まれていません。