volcano-sh/kthena

What it solves

Kthena는 프로덕션 환경에서 대규모 언어 모델(LLM) 추론 워크로드의 배포, 확장 및 관리의 복잡성을 단순화하기 위해 설계된 Kubernetes-native 플랫폼입니다. 다양한 추론 엔진을 관리하고 고급 루팅 및 스케줄링 정책을 통해 하드웨어 활용도를 최적화하는 문제를 해결합니다.

How it works

Kthena는 아키텍처를 두 개의 분리된, 독립적으로 배포 가능한 평면으로 나눕니다:

• Control Plane (Kthena-controller-manager): Kubernetes Custom Resource Definitions (CRDs)를 사용하여 LLM 추론 라이프사이클을 관리합니다. 배포, 확장 및 업그레이드를 처리하며, Volcano scheduler와 통합하여 gang scheduling과 같은 고급 스케줄링 정책을 지원합니다.
• Data Plane (Kthena-router): 추론 트래픽의 진입점으로 작용하며, 모델 이름, headers 또는 URI patterns를 기반으로 요청을 루팅합니다. 고급 로드 밸런싱 알고리즘과 prefill-decode disaggregation을 위한 특정 루팅을 지원합니다.

Who it’s for

기존 Kubernetes-native 클라우드 네이티브 패턴과 통합되고 여러 추론 엔진을 지원하는 엔터프라이즈급의 확장 가능한 LLM 서빙 플랫폼이 필요한 플랫폼 엔지니어 및 AI 실무자.

Highlights

• Modular Design: 플랫폼은 독립적으로 배포 가능한 두 개의 독립적인 Go binaries (워크로드 컨트롤러 또는 router)로 구성됩니다.
• Prefill-Decode Disaggregation: 계산 집약적인 prefill 작업과 토큰 생성 (decode) 프로세스를 분리하여 하드웨어 활용도와 지연 시간을 최적화합니다.
• Multi-Engine Support: vLLM, SGLang, Triton, 및 TorchServe와 호환됩니다.
• Intelligent Routing: KV-cache 인식 및 모델 부하 인식 로드 밸런싱을 지원하며, canary releases 및 토큰 기반의 속도 제한을 지원합니다.
• Advanced Scheduling: 네트워크 토폴로지 인식 스케줄링 및 gang scheduling을 포함하여 분산 추론 그룹 내의 리소스 낭비를 방지합니다.
• Cost-Driven Autoscaling: CPU, GPU, memory 및 사용자 정의 메트릭을 기반으로 구성 가능한 예산 제약 조건과 함께 확장합니다.