cchenax/px-kvstore

解決的問題

PX-KVStore 是一個高效率的記憶體鍵值儲存，專為消除 AI 實驗與本地推論過程中重型生產資料庫的開銷而設計。它特別解決了決定性 LLM 快取的需求——確保相同的提示與參數產生一致的快取命中——並為 AI 工程工作流程提供低延遲的儲存層。

工作原理

該引擎採用分片架構，結合一致性雜湊與虛擬節點，將資料均勻分布於 CPU 核心上，避免「熱點分片」。它採用分層的資料管理方式：

• 儲存與取得：使用雜湊表實現 O(1) 查詢，並支援可插入的 LRU/LFU 淘汰策略。支援 Redis 協定，與現有客戶端相容。
• 耐久性：結合預寫日誌（WAL）實現零資料遺失復原，以及原子快照實現快速啟動。
• AI 特定邏輯：實作決定性快取鍵生命週期，對提示進行標準化，對 LLM 參數進行規範化，並使用 SHA-256 對（提示、模型、參數、版本）組合進行雜湊。
• 複製：採用非同步主從模型，初始進行全量同步，後續進行增量更新。
• 可觀測性：整合 Prometheus 指標與 JSON API，用於追蹤延遲與系統健康狀態。

適用對象

需要在不引入全規模分散式資料庫複雜性的情況下，為 LLM 推論與本地 AI 實驗提供輕量、快速且可重現快取層的 AI 工程師與研究人員。

主要亮點

• 決定性 LLM 快取：內建提示標準化與參數規範化，用於基於提示的快取鍵。
• Redis 協定支援：相容標準 Redis 客戶端，並支援 Redis Streams。
• 一致性雜湊：可擴展的分片機制，最小化擴展時的資料重映射。
• 高效率：在低 p95 延遲下可達 138k QPS。
• 高階監控：包含 Count-Min Sketch 用於檢測前 K 個熱點鍵，並支援按命名空間的熱點鍵報告。