llm-d/llm-d

解决的问题

llm-d 旨在消除在生产环境中实现大语言模型（LLM）最先进（SOTA）推理性能所需的复杂性和手动调优。它提供了一个针对 Kubernetes 优化的高性能分布式推理服务栈，确保开源模型能够在各种硬件加速器上高效且可靠地部署。

工作原理

llm-d 作为一个位于 vLLM 和 SGLang 等模型服务器之上的编排与优化层，采用多种先进技术以最大化吞吐量并降低延迟：

• 智能路由： 使用前缀缓存和负载感知均衡，以及实验性的预测延迟调度，优化请求分发。
• KV 缓存管理： 实现分层卸载至 CPU 或磁盘，并采用全局索引，以提升多轮对话的有效工作集大小。
• 服务大型模型： 利用预填充/解码解耦和宽专家并行，优化 DeepSeek-R1 等超大规模模型。
• 运营卓越： 提供 SLO 友好的自动伸缩和多租户环境下的智能流量控制。
• 批量处理： 通过兼容 OpenAI 的批量 API 管理大规模离线推理。

适用人群

需要在多种硬件（NVIDIA、AMD、Intel、Google TPU）和云服务商上，基于 Kubernetes 部署和扩展 LLM 推理服务的 MLOps 工程师和基础设施提供商。

主要亮点

• CNCF Sandbox 项目： 由 Red Hat、Google Cloud、IBM Research、CoreWeave 和 NVIDIA 等行业领导者共同发起。
• 硬件无关： 针对 NVIDIA B200、AMD MI300X 和 Intel XPU 等多种加速器进行优化。
• 预填充/解码解耦： 相比标准 vLLM，吞吐量提升高达 70%（每秒令牌数）。
• 分层 KV 卸载： 在高并发用户负载下，吞吐量最高提升 13.9 倍。
• 详细基准测试： 通过 Prism 平台提供可复现的基准测试。