Lightning-AI/litgpt

What it solves

LitGPT は、スケールした大規模言語モデル（LLM）の事前学習、ファインチューニング、デプロイのプロセスをシンプルにすることを目指しています。複雑な抽象層を取り除いた高性能フレームワークを提供し、開発者がモデル実装を完全にコントロールできるようにしつつ、エンタープライズレベルのパフォーマンスを維持します。

How it works

LitGPT は、20 以上の人気 LLM をゼロから実装しています。コマンドラインインターフェース（CLI）を使用して、litgpt serve（デプロイ）、litgpt finetune（専門的なトレーニング）、litgpt pretrain（初期トレーニング）などの様々なワークフローを実行します。フレームワークは Flash Attention、FSDP、量子化（fp4/8/16/32）といった技術でパフォーマンスを最適化し、GPU メモリ使用量を削減し、1 台から 1000 台以上の GPU/TPU へのスケーリングをサポートします。

Who it’s for

高性能かつ抽象化を最小限に抑えた環境で LLM の訓練、ファインチューニング、デプロイを行いたい開発者や企業向けに設計されています。デバッグや本番規模での最適化が容易になります。

Highlights

• Extensive Model Support: Supports 20+ LLMs including Llama 3, Gemma 2, Phi 4, and Qwen2.5.
• No Abstractions: Models are implemented from scratch in single files for easier debugging and better performance.
• Scalable Training: Supports FSDP and scaling across hundreds of GPUs/TPUs.
• Flexible Finetuning: Includes recipes for LoRA, QLoRA, and Adapter tuning.
• Integrated Evaluation: Built-in tools to evaluate model performance on tasks like MMLU and Truthful QA.