llm-d/llm-d-router

해결하는 문제

llm-d Router는 LLM 추론 트래픽을 위한 지능형 진입점을 제공합니다. 실시간 신호를 사용하여 요청을 최적의 모델 서버로 라우팅함으로써 비효율적인 요청 배치 문제를 해결합니다. 현재 부하, 요청 우선순위, KV-cache 지역성 등의 요소를 고려하여 성능과 리소스 활용도를 최적화합니다.

작동 방식

이 시스템은 프록시(Envoy 등)와 지능형 엔진 역할을 하는 엔드포인트 피커(EPP)로 구성됩니다. EPP는 ext-proc 프로토콜을 통해 프록시와 통합되어 데이터 플레인에 라우팅 결정을 주입합니다. 독립형 모드(자체 관리형 Envoy 프록시 사용) 또는 게이트웨이 모드(Kubernetes Gateway API와 통합)로 배포할 수 있습니다.

또한, Disaggregation Sidecar를 사용하여 전용 워커 간의 KV-cache 및 임베딩(embeddings) 전송을 관리함으로써 복잡한 다단계 추론 라이프사이클(Prefill/Decode 또는 Encode/Prefill/Decode 등)을 조정합니다.

대상 사용자

프로덕션 환경에서 LLM을 대규모로 배포하며, 고급 트래픽 관리, 요청 우선순위 지정, 분리형 추론 아키텍처에 대한 지원이 필요한 팀을 위해 설계되었습니다.

주요 특징

• Prefix-cache 인식 라우팅: KV-cache 지역성을 기반으로 요청 배치를 최적화합니다.
• 유연한 배포: 독립형 Envoy 설정과 Kubernetes Gateway API 통합을 모두 지원합니다.
• 트래픽 관리: A/B 테스트 및 카나리 릴리스를 위한 모델 이름 재작성 기능을 포함합니다.
• 분리(Disaggregation) 지원: 전용 워커 전반에 걸쳐 다단계 추론 라이프사이클을 오케스트레이션합니다.