Lightning-AI/litgpt

해결하는 문제

LitGPT는 20개 이상의 인기 있는 대규모 언어 모델(LLM)을 다루기 위한 고성능이고 최소한의 프레임워크를 제공합니다. 복잡한 추상화 계층을 제거함으로써 개발자들이 모델 구현을 완전히 제어할 수 있게 하여 기업 규모에서 성능을 극대화하고 비용을 줄이며 디버깅을 단순화합니다.

작동 방식

지원되는 모든 LLM은 내부 추상화를 제거하기 위해 단일 파일에서 완전히 재구현됩니다. 이 프로젝트는 일관된 명령줄 인터페이스(CLI)와 Python API를 제공하여 LLM의 전체 라이프사이클(사전학습, 지속적 사전학습, 미세조정, 평가, 배포)을 관리합니다. Flash Attention, FSDP, 그리고 양자화(fp4/8/16/32)와 같은 고급 최적화 기술을 활용하여 GPU 메모리 사용량을 줄이고 1에서 1,000개 이상의 GPU/TPU로 확장할 수 있습니다.

대상 사용자

성능이 뛰어나고 투명한 LLM 프레임워크를 필요로 하며, Llama 3, Gemma 2, Phi 4, Qwen 2.5 등 다양한 모델을 지원하고 학습 및 추론에 대한 정밀한 제어를 요구하는 개발자 및 기업 팀을 위한 것입니다.

주요 특징

• 광범위한 모델 지원: Llama, Gemma, Phi, Qwen 포함 20개 이상의 고성능 LLM을 지원합니다.
• 추상화 없음: 디버깅이 쉬우며 최대 성능을 발휘하는 단일 파일 구현입니다.
• 전체 라이프사이클 관리: 사전학습, 미세조정(LoRA, QLoRA, Adapter), 배포를 위한 통합 도구가 있습니다.
• 기업 규모 확장: FSDP 및 대규모 GPU/TPU 클러스터를 지원하여 확장성을 최적화했습니다.
• 빠른 배포: 모델을 추론 API로 빠르게 전환할 수 있는 내장된 serve 명령어가 있습니다.