axolotl-ai-cloud/axolotl

解決する課題

Axolotl は、大規模言語モデル (LLMs) の学習後処理およびファインチューニングの複雑なプロセスを簡素化します。モデルや手法ごとにカスタム学習スクリプトを作成する必要がない統一されたフレームワークを提供し、データセットの前処理から推論まで、パイプライン全体を単一の YAML ファイルで設定できるようにします。

仕組み

Axolotl は、さまざまな学習ライブラリや最適化手法のラッパーおよびオーケストレーターとして機能します。幅広いモデルアーキテクチャ（テキスト、ビジョン言語、オーディオモデルを含む）をサポートし、LoRA、QLoRA、RL (GRPO, GDPO) といった高度な学習手法を統合しています。ハードウェア効率を最大化するため、Flash Attention などのパフォーマンスカーネルを組み込んでおり、FSDP2 や DeepSpeed を使用した複数 GPU または複数ノードにわたる分散学習もサポートしています。

対象ユーザー

分散学習やメモリ最適化のためのボイラープレートコードを管理することなく、カスタムデータセットで最先端のオープンソースモデルをファインチューニングしたい開発者や AI 研究者向けに設計されています。

主な特徴

• 広範なモデルサポート: LLaMA、Mistral、マルチモーダル VLM を含む、Hugging Face Hub 上の膨大なモデルと互換性があります。
• 設定駆動型: YAML ファイルを使用して、データセット、学習ハイパーパラメータ、量子化設定を管理します。
• 高度な学習手法: フルファインチューニング、選好学習 (DPO, ORPO)、報酬モデリング (RM/PRM) をサポートしています。
• 高性能な最適化: multipacking、シーケンス並列化、およびさまざまな 4-bit/8-bit 量化手法 (FP8, NVFP4) を含みます。
• クラウドとローカルの柔軟性: Docker イメージおよび PyPI パッケージとして提供されており、さまざまなクラウド GPU プロバイダーへのデプロイが容易です。