sgl-project/sglang

해결하는 문제

SGLang은 대규모 언어 모델(LLMs), 비전 언어 모델, 확산 모델의 서빙 속도를 높이기 위해 설계된 고성능 추론 프레임워크를 제공합니다. 특히 효율성과 처리량이 매우 중요한 에이전트 워크로드, 대규모 서빙, 강화학습(RL) 롤아웃의 병목 현상을 해결하는 데 중점을 둡니다.

작동 방식

SGLang은 NVIDIA, AMD, Google TPU, Intel, Apple Silicon, Huawei Ascend를 포함한 다양한 하드웨어 플랫폼을 지원하는 최적화된 추론 엔진으로 작동합니다. 내장된 이미지 및 비디오 생성 엔진(SGLang Diffusion)을 포함하며, RL 롤아웃을 위한 다양한 학습 프레임워크 및 확장과 라우팅을 위한 오케스트레이션 도구와 통합됩니다.

대상 사용자

이 프레임워크는 높은 처리량과 폭넓은 하드웨어 호환성이 필요한 프로덕션급 LLM 및 멀티모달 모델을 배포하는 AI 연구원, 개발자 및 기업을 위해 설계되었습니다.

주요 특징

• 여러 공급업체의 GPU, TPU, NPU, CPU에 걸친 광범위한 하드웨어 지원.
• 에이전트 워크로드 및 RL 롤아웃에 최적화.
• SGLang Diffusion을 통한 이미지 및 비디오 생성 내장 지원.
• 추측 디코딩(SpecForge) 및 오디오 서빙(SGLang Omni)을 포함한 더 넓은 SGL 생태계와의 통합.