LMCache/LMCache

해결하는 문제

LMCache는 Key-Value(KV) 캐시를 영구적이고 재사용 가능한 리소스로 관리하여 LLM 추론과 관련된 높은 메모리 및 계산 비용을 해결합니다. 이 캐시를 GPU 메모리에서 다른 저장소 계층으로 오프로드하고 서로 다른 추론 엔진 및 세션 간에 공유할 수 있도록 함으로써, 특히 긴 컨텍스트, RAG 및 에이전트 워크로드에서 첫 번째 토큰까지의 시간(TTFT)을 크게 줄이고 전체 시스템 처리량을 개선합니다.

작동 방식

LMCache는 추론 엔진과 함께 실행되는 독립 실행형 데몬 프로세스로 작동합니다. KV 캐시를 가로채서 관리하여 CPU RAM, 로컬 SSD 또는 Redis 및 S3와 같은 원격 백엔드를 포함한 계층 구조에 저장할 수 있도록 합니다. 추론 엔진에서 분리되어 있으므로 엔진이 충돌하더라도 캐시는 유지됩니다. 비접두사 캐시 재사용(프롬프트의 모든 위치에서 블록 재사용)과 같은 고급 기능을 지원하며 압축 또는 사용자 지정 직렬화와 같은 KV 변환을 위한 플러그형 인터페이스를 제공합니다.

대상 사용자

이 프로젝트는 고성능의 확장 가능한 LLM 서빙 시스템을 구축하는 인프라 엔지니어, MLOps 실무자 및 연구자를 위해 설계되었으며, 프로덕션 환경에서 메모리 사용량을 최적화하고 지연 시간을 줄여야 합니다.

주요 특징

• 엔진 독립적: KV 캐시 관리를 추론 엔진에서 분리하여 엔진 충돌 시 데이터 손실을 방지합니다.
• 계층형 저장소: KV 캐시를 CPU 메모리, 로컬 디스크 및 원격 저장소 백엔드(Redis, S3 등)로 오프로드하는 것을 지원합니다.
• 관찰 가능성: 토큰 및 요청 수준에서 캐시 적중, 수명 주기 및 성능을 모니터링하기 위한 포괄적인 메트릭을 제공합니다.
• 유연한 통합: 다양한 하드웨어 및 서빙 프레임워크와 함께 작동하는 벤더 중립적 설계로, 빠른 캐시 전송을 위한 NVLink 및 RDMA 지원을 포함합니다.