kvmem/kvmem

해결하는 문제

KVMem은 제한된 GPU 작업 세트 내에서 대화 기록과 에이전트 도구 데이터를 관리하여 긴 문맥의 AI 애플리케이션에서 발생하는 메모리 병목 현상을 해결합니다. GPU VRAM, 시스템 RAM, SSD 스토리지 간에 KV (Key-Value) 캐시 데이터를 지능적으로 오프로드하고 검색함으로써 사용자가 방대한 컨텍스트 윈도우(예: 200K+ tokens)를 가진 대규모 모델을 실행할 수 있도록 합니다.

작동 방식

KVMem은 llama.cpp 및 NInfer와 같은 추론 엔진의 관리 계층으로 작동합니다. 활성 기록은 GPU에 유지하고, 유휴 상태이거나 관련성이 낮은 기록은 호스트 RAM이나 SSD로 이동시키는 계층형 메모리 아키텍처를 구현합니다. LRFU (Least Recently Frequently Used) 가중치를 사용하여 어떤 대화 부분을 고속 메모리에 유지할지 결정합니다. 모델이 긴 대화의 이전 부분을 참조해야 할 때, KVMem은 컨텍스트를 완전히 재계산할 필요 없이 필요한 데이터를 GPU로 다시 가져옵니다.

대상 사용자

이 프로젝트는 소비자용 NVIDIA 하드웨어(RTX 20/30/40/50 시리즈)에서 로컬 LLM을 실행하며, 그래픽 카드의 VRAM 용량을 초과하는 장기 실행 에이전트 세션이나 대규모 문서 분석 작업을 유지해야 하는 개발자와 파워 유저를 위한 것입니다.

주요 특징

• 계층형 메모리 관리: GPU, RAM, SSD 간에 KV 캐시를 자동으로 이동하여 컨텍스트 용량을 극대화합니다.
• 멀티 백엔드 지원: llama.cpp 및 NInfer 추론 엔진 모두에 대한 통합 관리를 제공합니다.
• 도구 및 에이전트 최적화: 도구 호출, 엄격한 스키마 제약 조건, 다중 턴 상태 복원을 포함한 복잡한 에이전트 워크플로우를 지원합니다.
• 하드웨어별 튜닝: 다양한 NVIDIA GPU 아키텍처(sm70 ~ sm120a)를 위한 특수 Windows 패키지 및 런처가 포함되어 있습니다.
• 성능 중심: 적응형 MTP (Multi-Token Prediction), ngram 가속, 구성 가능한 프리필 청킹 기능을 갖추어 긴 문맥 생성 중에도 높은 초당 토큰 처리 속도를 유지합니다.