volcano-sh/kthena

What it solves

Kthena 是一个 Kubernetes-native 平台，旨在简化生产环境中大型语言模型 (LLM) 推理工作负载的部署、扩展与管理。它解决了管理多种推理引擎以及通过先进的路由与调度策略来优化硬件利用率的复杂性。

How it works

Kthena 将其架构拆分为两个解耦且可独立部署的平面：

• Control Plane (Kthena-controller-manager): 使用 Kubernetes Custom Resource Definitions (CRDs) 管理 LLM 推理生命周期。它处理部署、扩展与扩展升级，并与 Volcano scheduler 集成，以实现如 gang scheduling 等先进的调度策略。
• Data Plane (Kthena-router): Kthena-router 作为推理流量的入口点，根据模型名称、headers 或 URI patterns 进行路由。它支持先进的负载均衡算法与针对 prefill-decode disaggregation 的特定路由。

Who it’s for

平台工程师与 AI 从业者，需要一个能与现有 Kubernetes-native 云原生模式集成、支持多种推理引擎且具备企业级、可扩展的 LLM 服务平台。

Highlights

• Modular Design: 平台由两个独立的 Go binaries 构成，可以独立部署（工作负载控制器或 router)。

• Prefill-Decode Disaggregation: 通过将计算密集型的 prefill 操作与 token 生成 (decode) 过程分离，来优化硬件利用率与延迟。

• Multi-Engine Support: 兼容 vLLM, SGLang, Triton, 以及 TorchServe。

• Intelligent Routing: 具备 KV-cache 意识与模型负载意识的负载均衡，并支持 canary releases 与基于 token 的速率限制。

• Advanced Scheduling: 包含网络拓扑感知调度与 gang scheduling，以防止分布式推理推理组中的资源浪费。

• Cost-Driven Autoscaling: 基于 CPU, GPU, memory 与自定义指标进行扩容，并具有可配置的预算约束。