LMCache/LMCache

它解决的问题

LMCache 通过将键值（KV）缓存作为持久化、可复用的资源进行管理，解决了 LLM 推理相关的高内存和计算成本。通过将缓存从 GPU 内存卸载到其他存储层，并支持在不同推理引擎和会话之间共享，它显著减少了首令牌时间（TTFT），并提高了整体系统吞吐量，尤其适用于长上下文、RAG 和智能体工作负载。

工作原理

LMCache 作为独立守护进程运行，与推理引擎并行。它拦截并管理 KV 缓存，允许将其存储在分层结构中，包括 CPU 内存、本地 SSD 或远程后端（如 Redis 和 S3）。由于它与推理引擎解耦，即使引擎崩溃，缓存也会持久存在。它支持高级功能，如非前缀缓存重用（重用提示中任意位置的块），并提供可插拔的 KV 转换接口，例如压缩或自定义序列化。

适用对象

本项目面向基础设施工程师、MLOps 从业者以及构建高性能、可扩展 LLM 服务系统的研究人员，他们需要在生产环境中优化内存使用并减少延迟。

亮点

• 引擎无关：将 KV 缓存管理与推理引擎解耦，防止引擎崩溃时数据丢失。
• 分层存储：支持将 KV 缓存卸载到 CPU 内存、本地磁盘和远程存储后端（Redis、S3 等）。
• 可观测性：提供全面的指标，用于监控令牌和请求级别的缓存命中、生命周期和性能。
• 灵活集成：供应商中立设计，适用于各种硬件和服务框架，包括支持 NVLink 和 RDMA 以实现快速缓存传输。