LlamaFactory: とは何なのか、どのような問題を解決し、なぜ注目を集めているのか

解決する問題

LLaMA Factoryは、大規模言語モデル（LLM）のファインチューニングプロセスを簡素化するために設計された統合フレームワークです。100種類以上の異なるモデルのトレーニングとデプロイに対して、コード不要のインターフェースを提供することで、広範なコーディングの必要性を排除します。

仕組み

このプロジェクトは、さまざまなトレーニング手法、最適化アルゴリズム、およびハードウェアアクセラレーションを統合した包括的なツールキットを提供します。ユーザーは、コマンドラインインターフェース（CLI）またはLLaMA Board（Gradioによって提供）と呼ばれるグラフィカルユーザーインターフェースを介してシステムと対話できます。フルパラメータチューニングから、LoRAやQLoRAのようなメモリ効率の高い手法まで、幅広いファインチューニング技術をサポートしており、vLLMやSGLangのような推論バックエンドと統合して、より高速なデプロイを実現します。

対象ユーザー

複雑なトレーニングスクリプトを一から書くことなく、マルチターン対話、ツール利用、画像理解、音声認識などの特定のタスクに合わせてLLMをファインチューニングしたい開発者やAI研究者を対象としています。

ハイライト

• 幅広いモデルサポート: LLaMA, Mistral, Qwen, DeepSeek, Gemma, およびその他多くのモデルと互換性があります。
• 多様なトレーニング手法: supervised fine-tuning (SFT), reward modeling, PPO, DPO, KTO, および ORPO をサポートしています。
• リソース効率: ハードウェア要件を軽減するために、16-bit full-tuning および 2- to 8-bit QLoRA を提供します。
• 高度なオプティマイザ: GaLore, BAdam, および Muon のような最先端のアルゴリズムを統合しています。
• コード不要のインターフェース: 簡単な設定とトレーニング管理のための Web UI (LLaMA Board) を備えています。
• マルチモーダル機能: 画像、ビデオ、および音声理解タスクのファインチューニングをサポートしています。