gpustack/gpustack

它解决了什么问题

GPUStack 简化了用于 AI 模型服务的 GPU 资源管理。它解决了将不同的硬件环境（如本地服务器、云提供商和 Kubernetes 集群）编排为一个用于部署和扩展 AI 模型的统一平台的复杂性。

它是如何工作的

GPUStack 充当连接到 GPU 工作节点的中央管理层。它自动配置高性能推理引擎（如 vLLM、SGLang 和 TensorRT-LLM）以高效运行模型。该平台包含一个调度程序，可将工作负载分配给 GPU 以最大限度地提高利用率，并提供用于与已部署模型交互的标准 API。它还通过集成仪表板监控系统健康状况和性能。

适用对象

它专为需要跨异构基础设施大规模交付“模型即服务”（Model-as-a-Service）的开发团队、IT 组织和服务提供商而设计。

亮点

• 跨本地、云和 Kubernetes 环境的多集群管理。
• 支持 vLLM、SGLang 和自定义引擎的可插拔推理引擎架构。
• 性能优化配置，支持推测解码和高级 KV 缓存。
• 按需配置可进行 SSH 访问的 GPU 实例，用于开发和微调。
• 企业级功能，包括负载均衡、自动故障恢复和详细的 Token 使用计量。
• 广泛的硬件支持，包括 NVIDIA、AMD、Ascend 以及其他几种专用 GPU/NPU 加速器。