kvcache-ai/Mooncake

解决的问题

Mooncake 通过优化 KV (Key-Value) cache 和模型数据在集群中的管理与传输方式，解决了大规模 LLM 推理和训练中的性能瓶颈。它实现了“解耦”架构，使得计算密集型任务（如 prefill 和 decoding）可以独立分离并扩展，同时共享高性能的分布式缓存池，从而避免冗余计算。

工作原理

Mooncake 作为基础设施层，位于 vLLM 或 SGLang 等推理引擎之下。它由两个主要组件组成：Transfer Engine (TE)，负责处理跨异构网络（RDMA、TCP 等）和硬件加速器的高带宽、低延迟数据传输；以及 Mooncake Store，一个在 DRAM 和 SSD 之间管理缓存 KV 状态的分布式存储引擎。通过使用内容寻址存储和拓扑感知路由，它允许不同的推理实例高效地共享和重用缓存数据。

适用对象

该项目专为构建大规模 LLM 服务系统的 ML 工程师和基础设施团队设计，特别是那些部署需要高吞吐量、长上下文支持或解耦推理流水线（例如分离 prefill 和 decode 节点）模型的团队。

亮点

• 高性能数据传输：利用多个 RDMA 网卡实现海量带宽（在 8x400 Gbps 网络中高达 190 GB/s）。
• 生态集成：与 vLLM、SGLang、TensorRT-LLM 和 LMDeploy 等主流服务框架深度集成。
• 硬件无关：支持广泛的加速器和互联技术，包括 CUDA、ROCm、NPU、MUSA 和 EFA。
• 多级缓存：在 DRAM 和 NVMe/SSD 之间实现分层缓存策略，以最大化容量和重用率。
• 生产验证：为 Kimi LLM 服务提供支持，在现有的服务水平目标 (SLO) 下显著提高了请求处理能力。