Lightning-AI/litgpt

해결하는 문제

LitGPT는 대규모 언어 모델(LLM)을 다루기 위한 고성능의 엔터프라이즈급 툴킷을 제공합니다. 복잡한 추상화 계층을 제거하여 개발자가 20개 이상의 다양한 LLM을 완전한 제어와 최소한의 오버헤드로 사전 학습, 미세 조정, 평가, 배포할 수 있게 합니다.

작동 방식

LitGPT는 내부 추상화 계층 없이 모델을 처음부터 구현하므로 코드 디버깅이 쉽고 성능이 뛰어납니다. 명령줄 인터페이스(CLI)를 사용하여 모델 가중치 다운로드, 대화형 채팅 실행, 자체 데이터로 훈련 작업 실행 등의 워크플로를 관리합니다. 이 프로젝트는 단일 GPU에서 대규모 클러스터까지 확장되도록 설계되었으며, 양자화 및 메모리 효율적인 훈련 방법과 같은 최적화 기술을 활용합니다.

대상 사용자

LLM을 훈련하거나 배포하기 위해 투명하고 고성능의 환경이 필요한 개발자와 연구자를 위해 설계되었습니다. 복잡한 추상화를 피하고 단일 파일 구현을 제공하므로 프로덕션 규모 애플리케이션에서 기본 모델 메커니즘을 이해하거나 사용자 지정하려는 사람들에게 특히 유용합니다.

주요 특징

• Llama 3, Gemma 2, Qwen 2.5, Phi 4를 포함한 20개 이상의 인기 LLM을 지원합니다.
• 사전 학습 및 미세 조정을 위한 최적화된 엔터프라이즈 규모 레시피를 제공합니다.
• 저메모리 하드웨어에서 모델을 실행하기 위한 양자화(fp4/8/16/32) 내장 지원을 포함합니다.
• 모델 평가, 대화형 채팅, API 배포와 같은 일반적인 작업을 위한 간단한 CLI를 제공합니다.
• Apache 2.0 라이선스로 무제한 엔터프라이즈 사용에 적합합니다.