volcano-sh/kthena

What it solves

Kthena は、本番環境における大規模言語モデル (LLM) 推論ワークロードのデプロイ、スケーリング、および管理を簡素化するために設計された Kubernetes-native なプラットフォームです。多様な推論エンジンを管理し、高度なルーティングとスケジューリングポリシーによってハードウェア利用率を最適化するという複雑さを解決します。

How it works

Kthena は、そのアーキテクチャを、分離され、独立してデプロイ可能な 2 つの平面に分割しています：

• Control Plane (Kthena-controller-manager): Kubernetes Custom Resource Definitions (CRDs) を使用して LLM 推論のライフサイクルを管理します。デプロイ、スケーリング、アップグレードを処理し、Volcano scheduler と統合して、gang scheduling のような高度なスケジューリングポリシーを実現します。
• Data Plane (Kthena-router): 推論トラフィックの入り口として機能し、モデル名、headers、または URI patterns に基づいてリクエストをルーティングします。高度な負荷分散アルゴリズムと、prefill-decode disaggregation 用の特定のルーティングをサポートします。

Who it’s for

既存の Kubernetes-native なクラウドネイティブなパターンと統合でき、複数の推論エンジンをサポートする、エンタープライズグレードのスケーラブルな LLM サービングプラットフォームを必要とするプラットフォームエンジニアや AI 実務家。

Highlights

• Modular Design: プラットフォームは、独立してデプロイ可能な 2 つの自己完結型の Go binaries (ワークロードコントローラーまたは router) で構成されています。
• Prefill-Decode Disaggregation: 計算集約的な prefill 操作とトークン生成 (decode) プロセスを分離することで、ハードウェア利用率とレイテンシを最適化します。
• Multi-Engine Support: vLLM, SGLang, Triton, および TorchServe と互換性があります。
• Intelligent Routing: KV-cache 意識およびモデル負荷意識の負荷分散、ならびに canary releases とトークンベースのレート制限をサポートします。
• Advanced Scheduling: ネットワークトポロジーを意識したスケジューリングと gang scheduling を含み、分散型推論グループ内でのリソースの浪费 (waste) を防ぎます。
• Cost-Driven Autoscaling: CPU, GPU, memory とカスタムメトリクスに基づき、予算制約を設定可能な状態でスケーリングを行います。