llm-d/llm-d-router

解决的问题

llm-d Router 为 LLM 推理流量提供了一个智能入口点。它通过使用实时信号将请求路由至最佳模型服务器，解决了请求分配效率低下的问题，并考虑了当前负载、请求优先级和 KV-cache 局部性等因素，以优化性能和资源利用率。

运作原理

该系统由一个代理（如 Envoy）和一个端点选择器（Endpoint Picker, EPP）组成，后者作为智能引擎。EPP 通过 ext-proc 协议与代理集成，将路由决策注入数据平面。它可以部署在独立模式（使用自管理的 Envoy 代理）或网关模式（与 Kubernetes Gateway API 集成）。

此外，Disaggregation Sidecar 用于协调复杂的多阶段推理生命周期（如 Prefill/Decode 或 Encode/Prefill/Decode），通过管理 KV-cache 和嵌入（embeddings）在专用工作节点之间的传输。

适用对象

专为在生产环境中大规模部署 LLM 的团队而设计，这些团队需要高级流量管理、请求优先级排序以及对解耦推理架构的支持。

特色亮点

• Prefix-cache 感知路由：根据 KV-cache 局部性优化请求分配。
• 灵活部署：支持独立的 Envoy 设置以及 Kubernetes Gateway API 集成。
• 流量管理：包含用于 A/B 测试和金丝雀发布的模型名称重写功能。
• 解耦支持：协调跨专用工作节点的多阶段推理生命周期。