cchenax/px-kvstore

何を解決するか

PX-KVStore は、AIの実験やローカル推論において、重いプロダクションデータベースのオーバーヘッドを排除するために設計された、高性能なインメモリキー値ストアです。特に、同一のプロンプトとパラメータに対して一貫したキャッシュヒットを保証する決定論的LLMキャッシュのニーズに対応し、AIエンジニアリングワークフロー向けの低レイテンシーストレージ層を提供します。

動作方法

エンジンは、一貫性のあるハッシュと仮想ノードを使用したシャーディングアーキテクチャを採用し、データをCPUコアに均等に分散し、「ホットシャード」を回避します。データ管理には階層的なアプローチを採用しています：

• ストレージと取得：O(1)の検索を実現するハッシュマップと、プラグ可能なLRU/LFU除外ポリシーを使用。既存のクライアントとの互換性を確保するため、Redisプロトコルをサポート。
• 耐久性：データ損失ゼロの回復を実現するWrite-Ahead Log (WAL) と、高速起動を可能にするアトミックスナップショットを組み合わせ。
• AI固有のロジック：プロンプト、モデル、パラメータ、バージョンの組み合わせをSHA-256でハッシュ化する決定論的キャッシュキーのライフサイクルを実装。プロンプトの正規化とLLMパラメータの標準化を内蔵。
• レプリケーション：非同期リーダーフォロワー方式を採用。初期にフル同期を行い、その後インクリメンタルな更新を実行。
• 観測性：PrometheusメトリクスとJSON APIを統合し、レイテンシーやシステムの健全性を追跡可能に。

対象ユーザー

フルスケールの分散データベースの複雑さを避けつつ、LLM推論やローカルAI実験に軽量で高速かつ再現可能なキャッシュレイヤーが必要なAIエンジニアや研究者。

特徴

• 決定論的LLMキャッシュ：プロンプトベースのキャッシュキー用の正規化と標準化を内蔵。
• Redisプロトコル対応：標準Redisクライアントと互換性があり、Redis Streamsもサポート。
• 一貫性のあるハッシュ：スケーリング時のデータ再マッピングを最小限に抑えるスケーラブルなシャーディング。
• 高パフォーマンス：p95レイテンシーが低く、138k QPSに達することが可能。
• 高度なモニタリング：Count-Min SketchによるトップKのホットキー検出と、名前空間ごとのホットキー報告を実装。