cchenax/px-kvstore

解决的问题

PX-KVStore 是一个高性能的内存键值存储，旨在消除 AI 实验和本地推理过程中重型生产数据库带来的开销。它特别解决了确定性 LLM 缓存的需求——确保相同的提示和参数产生一致的缓存命中——并为 AI 工程工作流提供低延迟的存储层。

工作原理

该引擎采用分片架构，结合一致性哈希和虚拟节点，将数据均匀分布在 CPU 核心上，避免“热点分片”。它采用分层的数据管理方法：

• 存储与检索：使用哈希表实现 O(1) 查找，并支持可插拔的 LRU/LFU 淘汰策略。支持 Redis 协议，与现有客户端兼容。
• 持久性：结合预写日志（WAL）实现零数据丢失恢复，以及原子快照实现快速启动。
• AI 特定逻辑：实现确定性缓存键生命周期，对提示进行标准化，对 LLM 参数进行规范化，并使用 SHA-256 对（提示、模型、参数、版本）组合进行哈希。
• 复制：采用异步主从模型，初始进行全量同步，后续进行增量更新。
• 可观测性：集成 Prometheus 指标和 JSON API，用于跟踪延迟和系统健康状态。

适用人群

需要在不引入全规模分布式数据库复杂性的情况下，为 LLM 推理和本地 AI 实验提供轻量、快速且可复现缓存层的 AI 工程师和研究人员。

主要亮点

• 确定性 LLM 缓存：内置提示标准化和参数规范化，用于基于提示的缓存键。
• Redis 协议支持：兼容标准 Redis 客户端，并支持 Redis Streams。
• 一致性哈希：可扩展的分片机制，最小化扩展时的数据重映射。
• 高性能：在低 p95 延迟下可达到 138k QPS。
• 高级监控：包含 Count-Min Sketch 用于检测前 K 个热点键，并支持按命名空间的热点键报告。