Lightning-AI/litgpt

What it solves

LitGPT는 대규모 환경에서 대형 언어 모델(LLM)의 사전 학습, 파인튜닝 및 배포 과정을 단순화하려고 합니다. 복잡한 추상화 레이어를 제거한 고성능 프레임워크를 제공하여 개발자가 모델 구현을 완전히 제어하면서도 엔터프라이즈 수준의 성능을 유지할 수 있게 합니다.

How it works

LitGPT는 20개 이상의 인기 LLM을 처음부터 구현합니다. 명령줄 인터페이스(CLI)를 사용하여 litgpt serve(배포), litgpt finetune(특화 학습), litgpt pretrain(초기 학습) 등 다양한 워크플로를 실행합니다. 프레임워크는 Flash Attention, FSDP, 양자화(fp4/8/16/32)와 같은 기술을 활용해 성능을 최적화하고 GPU 메모리 사용량을 줄이며 1대에서 1000대 이상의 GPU/TPU까지 확장을 지원합니다.

Who it’s for

고성능과 최소 추상화를 필요로 하는 개발자와 기업을 위해 설계되었으며, LLM을 학습, 파인튜닝 또는 배포할 때 디버깅과 프로덕션 규모 최적화를 쉽게 할 수 있습니다.

Highlights

• Extensive Model Support: Supports 20+ LLMs including Llama 3, Gemma 2, Phi 4, and Qwen2.5.
• No Abstractions: Models are implemented from scratch in single files for easier debugging and better performance.
• Scalable Training: Supports FSDP and scaling across hundreds of GPUs/TPUs.
• Flexible Finetuning: Includes recipes for LoRA, QLoRA, and Adapter tuning.
• Integrated Evaluation: Built-in tools to evaluate model performance on tasks like MMLU and Truthful QA.