cchenax/px-kvstore

해결하는 문제

PX-KVStore는 AI 실험 및 로컬 추론 과정에서 무거운 프로덕션 데이터베이스의 오버헤드를 제거하기 위해 설계된 고성능 인메모리 키-값 저장소입니다. 특히 동일한 프롬프트와 파라미터에 대해 일관된 캐시 히트를 보장하는 결정론적 LLM 캐싱의 필요성을 충족시키며, AI 엔지니어링 워크플로우를 위한 저지연 스토리지 계층을 제공합니다.

작동 방식

엔진은 일관성 있는 해싱과 가상 노드를 사용한 샤딩 아키텍처를 채택하여 데이터를 CPU 코어에 균일하게 분산하고, '핫 샤드'를 방지합니다. 데이터 관리는 계층적 접근 방식을 사용합니다:

• 저장 및 검색: O(1) 검색을 위한 해시맵과 플러그인 가능한 LRU/LFU 제거 정책을 사용합니다. 기존 클라이언트와의 호환성을 위해 Redis 프로토콜을 지원합니다.
• 내구성: 데이터 손실 없이 복구 가능한 Write-Ahead Log (WAL)와 빠른 시작을 위한 원자적 스냅샷을 결합합니다.
• AI 전용 로직: 프롬프트, 모델, 파라미터, 버전의 조합을 SHA-256으로 해시하는 결정론적 캐시 키 라이프사이클을 구현합니다. 프롬프트 정규화 및 LLM 파라미터 표준화를 내장합니다.
• 복제: 초기 전체 동기화와 증분 업데이트를 수행하는 비동기 리더-팔로워 모델을 사용합니다.
• 관측성: Prometheus 메트릭과 JSON API를 통합하여 지연 시간과 시스템 건강 상태를 추적합니다.

대상 사용자

풀스케일 분산 데이터베이스의 복잡성을 피하면서도 LLM 추론 및 로컬 AI 실험에 가볍고 빠르며 재현 가능한 캐시 계층이 필요한 AI 엔지니어 및 연구자들입니다.

주요 특징

• 결정론적 LLM 캐시: 프롬프트 기반 캐시 키를 위한 내장된 정규화 및 표준화 기능.
• Redis 프로토콜 지원: 표준 Redis 클라이언트와 호환되며 Redis Streams도 지원합니다.
• 일관성 있는 해싱: 확장 시 데이터 재매핑을 최소화하는 확장 가능한 샤딩.
• 고성능: 낮은 p95 지연 시간으로 138k QPS에 도달할 수 있습니다.
• 고급 모니터링: Count-Min Sketch를 사용한 상위 K개의 핫 키 탐지 및 네임스페이스별 핫 키 보고 기능을 포함합니다.