hiyouga/LlamaFactory

Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

解決する課題

LlamaFactoryは、100種類以上の異なる大規模言語モデル（LLMs）の微調整とデプロイのプロセスを簡素化します。モデルのトレーニング、評価、サービングのための統合されたユーザーフレンドリーなインターフェースを提供することで、複雑なコーディングの必要性を排除し、機械学習の深い専門知識がないユーザーでも利用可能にします。

仕組み

このプロジェクトは、標準的な教師あり微調整からDPOやPPOのような高度な強化学習手法まで、幅広いトレーニング手法をサポートするモジュール式フレームワークを提供します。ユーザーは、ゼロコードのWeb UI (LLaMA Board) またはコマンドラインインターフェース (CLI) を通じてシステムと対話できます。一般的なハードウェアアクセラレーションツールと統合されており、さまざまなモデルアーキテクチャをサポートしているため、最小限の構成でローカルまたはクラウド上でモデルをトレーニングできます。

対象ユーザー

ツール使用、マルチターン対話、画像理解などの特定のタスクに合わせて大規模言語モデルをカスタマイズする必要がある開発者、研究者、AI実務者向けに設計されており、複雑なトレーニングパイプラインをゼロから構築する必要はありません。

ハイライト

  • 広範なモデルサポート: LLaMA, Mistral, Qwen, DeepSeek, Gemmaを含む100種類以上のモデルと互換性があります。
  • ゼロコードインターフェース: ビジュアルなモデル管理とトレーニングのためのGradioベースのWeb UIが含まれています。
  • 効率的なトレーニング: QLoRA, FlashAttention-2, Unslothなどの高度なメモリ節約技術をサポートし、コンシューマーグレードのハードウェアで大規模モデルをトレーニング可能です。
  • デプロイ準備完了: vLLMまたはSGLangを使用したOpenAIスタイルのAPIデプロイを組み込みでサポートし、高速な推論を実現します。
  • 実験追跡: TensorBoard, Wandb, SwanLabなどのツールと統合し、トレーニングの進捗をリアルタイムで監視できます。

関連

  • プロジェクト
    OptimalScale/LMFlow

    LMFlow は、大規模言語モデルのファインチューニングに適した拡張可能な Python ツールボックスです。全パラメータ学習、LoRA、メモリ効率の高い LISA アルゴリズム、QLoRA 量子化、および FlashAttention‑2、DeepSpeed、vLLM、SGLang などの高速化テクニックをサポートします。トレーニング後は、チャットスタイルの推論用スクリプトとオプションの Gradio/Flask デプロイが提供されます。このライブラリは Linux/Colab 環境向けに設計されており、マルチモーダルモデル、分散報酬モデル推論など、オプションの拡張機能も提供しています。

  • プロジェクト
    Goekdeniz-Guelmez/mlx-lm-lora

    MLX-LM-LoRA は、Apple シリコン Mac 上で MLX フレームワークを使用して大規模言語モデルをファインチューニングできる Python ライブラリです。LoRA/DoRA アダプター、全精度および量子化トレーニング（QLoRA、QAT）、および多くの嗜好ベースの最適化手法（SFT、DPO、ORPO、DSLA、GRPO、RLHF、PPO など）をサポートしています。`pip install mlx-lm-lora` でインストールし、`mlx_lm_lora.train` をフラグまたは YAML 設定付きで実行すると、Llama、Mistral、Qwen、Gemma などのモデルを Mac 上でローカルにトレーニングできます。

  • プロジェクト
    h2oai/h2o-llmstudio

    H2O LLM Studioは、コードを書かずに任意のHugging Face LLMを微調整できるPythonフレームワークで、ウェブベースのGUI（およびCLI）を備えています。LoRA、8ビットトレーニング、DeepSpeedシャーディング、および最新のDPO/IPO/KTO最適化手法をサポートし、ライブメトリクス、チャットベースのテスト、Hugging Faceへのワンクリックエクスポートを提供します。`uv`（またはDocker）でインストールし、localhost:10101でUIを起動し、簡単な実験作成・トレーニング・評価のサイクルを実行してください。

  • プロジェクト
    liguodongiot/llm-action

    中国語で書かれた、大規模言語モデルのトレーニング、ファインチューニング、サービング、圧縮、評価をゼロから本番環境まで学べる、記事・チュートリアル・実行可能コードを厳選したライブラリです。

  • プロジェクト
    opendilab/LightRFT

    LightRFTは、大規模言語モデル（LLM）およびマルチモーダル生成モデルのファインチューニングのための、オープンソースの分散型強化学習フレームワークです。DeepSpeedやFSDPといったトレーニング・バックエンドと、SGLangやvLLMといったロールアウト・エンジンを統合し、GRPO、REINFORCE++、DAPOなどの様々なRLアルゴリズムをサポートし、テキスト、画像、動画、音声の各モダリティに対応しています。ライブラリには、すぐに実行可能な例（例：Qwen2.5を使用したGSM8K）、詳細なドキュメント、Dockerイメージが用意されており、RLベースのアライメント・パイプラインを構築する研究者やエンジニアに適しています。