axolotl-ai-cloud/axolotl

何を解決するか

Axolotlは、大規模言語モデル（LLM）の後処理およびファインチューニングという複雑なプロセスを簡素化します。統合されたフレームワークを提供し、新しいモデルや技術ごとにカスタムトレーニングスクリプトを書く必要をなくし、1つのYAMLファイルでデータセット前処理から量子化まで、すべてのパイプラインを構成できるようにします。

仕組み

Axolotlは、さまざまなトレーニングライブラリおよび最適化のラッパーおよびオーケストレーターとして機能します。Llama、Mistral、Qwenなど幅広いモデルとテキスト、視覚、音声などのマルチモーダルに対応しています。ユーザーは構成ファイルでトレーニングパラメータを定義し、Axolotlが下位の技術的実行（Flash AttentionやFSDP、DeepSpeedを用いた複数GPUまたはノード間の分散トレーニングを含む）を処理します。

対象ユーザー

オープンソースLLMをカスタムデータセット上でファインチューニングしたいAI研究者、開発者、組織向けに設計されています。異なるトレーニングフレームワークに関連するボイラープレートコードを管理する必要がありません。

特徴

• 広範なモデル対応: Hugging Face Hubの多数のモデル（視覚言語・音声マルチモーダルモデルを含む）と互換性があります。
• 複数の技術の統合: フルファインチューニング、LoRA、QLoRA、Preference Tuning（DPO、ORPO）、RL（GRPO）、Reward Modellingをサポートします。
• 高度な最適化: Flash Attention 2/3/4、Sequence Parallelism、およびさまざまな量子化手法（FP8、NVFP4）を統合し、VRAM使用量を削減し、速度を向上させます。
• 構成駆動型: 1つのYAMLファイルで全体のパイプラインを管理し、実験の再現性と共有のしやすさを実現します。
• エージェント対応: CursorやClaude CodeなどのAIコーディングエージェントに最適化された組み込みドキュメントを備えています。