gpustack/gpustack

해결하는 문제

GPUStack은 AI 모델 서빙을 위한 GPU 리소스 관리를 간소화합니다. 온프레미스 서버, 클라우드 제공업체, Kubernetes 클러스터와 같은 다양한 하드웨어 환경을 AI 모델 배포 및 확장을 위한 통합 플랫폼으로 오케스트레이션하는 복잡성을 해결합니다.

작동 방식

GPUStack은 GPU가 활성화된 워커 노드에 연결되는 중앙 관리 계층 역할을 합니다. vLLM, SGLang, TensorRT-LLM과 같은 고성능 추론 엔진을 자동으로 구성하여 모델을 효율적으로 실행합니다. 이 플랫폼에는 워크로드를 GPU에 할당하여 활용도를 극대화하는 스케줄러가 포함되어 있으며, 배포된 모델과 상호 작용하기 위한 표준 API를 제공합니다. 또한 통합 대시보드를 통해 시스템 상태와 성능을 모니터링합니다.

대상 사용자

이기종 인프라 전반에서 대규모로 "Model-as-a-Service"를 제공해야 하는 개발 팀, IT 조직 및 서비스 제공업체를 위해 설계되었습니다.

주요 특징

• 온프레미스, 클라우드 및 Kubernetes 환경 전반의 멀티 클러스터 관리.
• vLLM, SGLang 및 사용자 지정 엔진을 지원하는 플러그형 추론 엔진 아키텍처.
• 추측 디코딩(speculative decoding) 및 고급 KV 캐싱을 지원하는 성능 최적화 구성.
• 개발 및 미세 조정을 위한 SSH 액세스 가능 GPU 인스턴스의 온디맨드 프로비저닝.
• 로드 밸런싱, 자동 장애 복구 및 상세한 토큰 사용량 측정을 포함한 엔터프라이즈급 기능.
• NVIDIA, AMD, Ascend 및 기타 여러 특수 GPU/NPU 가속기를 포함한 광범위한 하드웨어 지원.