LightLLM: 토큰 레벨 KV 캐시 관리를 지원하는 경량 Python 기반 추론 및 서빙 프레임워크

해결하는 문제

LightLLM은 대규모 언어 모델(LLMs)을 높은 속도, 확장성 및 효율성으로 배포하는 과제를 해결합니다. 모델이 프로덕션 환경에서 고성능을 보장할 수 있도록 실행되는 방식을 최적화하는 추론 및 서빙 프레임워크를 제공합니다.

작동 방식

vLLM, FlashAttention, FasterTransformer와 같은 여러 선도적인 오픈 소스 구현체의 최적화 기술을 통합한 Python 기반 프레임워크입니다. 주요 기술적 특징은 다음과 같습니다:

• 토큰 레벨 KV 캐시 관리: 생성 과정 중 효율적인 메모리 처리를 가능하게 합니다.
• 고급 스케줄링: 서비스 수준 협약(SLA) 보장을 유지하기 위해 "Past-Future Scheduler"를 구현합니다.
• 제약된 디코딩(Constrained Decoding): 결정론적 푸시다운 오토마타(Pre $^3$)를 사용하여 구조화된 LLM 생성을 가속화합니다.
• Prefix KV 캐시 전송: 효율성을 높이기 위해 DP ranker 간의 캐시 전송을 지원합니다.

대상 사용자

• 개발자 및 엔지니어: H200 GPU와 같은 하드웨어에서 LLM(예: DeepSeek-R1)을 배포하기 위한 고성능 서빙 프레임워크를 찾는 분들.
• AI 연구자: 순수 Python 설계와 세밀한 캐시 관리 덕분에 LLM 추론에 관한 학술 연구를 위한 유연한 기반으로 활용됩니다.

주요 특징

• 고성능: 단일 H200 머신에서 가장 빠른 DeepSeek-R1 서빙 성능을 주장합니다.
• 연구 친화적: 수많은 학술 논문 및 프로젝트(예: LoongServe, S-LoRA)의 기반으로 널리 사용됩니다.
• SLA 인식: 보장된 서빙 성능을 위해 특화된 요청 스케줄러를 포함합니다.
• 구조화된 생성: 더 빠른 제약된 디코딩에 관한 수상 경력의 연구를 특징으로 합니다.