zjunlp/LightMem

[ICLR 2026] LightMem: Lightweight and Efficient Memory-Augmented Generation

What it solves

LightMem은 대형 언어 모델(LLMs) 및 AI 에이전트에 경량이면서 효율적인 장기 메모리 관리 시스템을 제공하도록 설계되었습니다. 과도한 계산 자원이나 응답 시간을 소모하지 않고 사용자 상호작용 및 이벤트의 지속적이고 검색 가능한 메모리를 유지하는 문제를 해결합니다.

How it works

LightMem은 메모리 저장, 검색 및 업데이트를 처리하기 위해 모듈식 아키텍처를 사용합니다. 프로세스는 플러그인 가능한 구성 요소로 나뉩니다:

  • Pre-compression & Segmentation: llmlingua-2와 같은 도구를 사용해 입력을 압축하고 주제별로 텍스트를 세분화합니다.
  • Memory Management: 다양한 LLM 백엔드(OpenAI, DeepSeek, Ollama, vLLM)와 통합하여 메모리 내용을 관리합니다.
  • Indexing & Retrieval: FAISS, Qdrant 또는 BM25를 통한 임베딩 기반 검색으로 사용자 질의에 맞는 관련 메모리를 찾습니다.
  • Update Mechanism: 온라인 및 오프라인 업데이트를 지원해 메모리를 최신 상태로 유지합니다.

Who it’s for

이 프레임워크는 여행 계획 에이전트나 코드 어시스턴트와 같이 여러 세션에 걸쳐 장기 메모리 기능이 필요한 지능형 애플리케이션을 개발하는 개발자를 위한 것입니다.

Highlights

  • Modular Design: 맞춤형 스토리지 엔진 및 검색 전략을 지원합니다.
  • Broad Compatibility: 클라우드 API(OpenAI, DeepSeek)와 로컬 모델(Ollama, vLLM, Transformers) 모두와 작동합니다.
  • MCP Server Support: Model Context Protocol과 호환되어 AI 생태계에 쉽게 통합할 수 있습니다.
  • Efficient Performance: 낮은 자원 소비와 빠른 응답 시간을 최적화했습니다.
  • Integrated Evaluation: Mem0 및 LangMem과 같은 다른 메모리 레이어와 벤치마크할 수 있는 기본 평가 프레임워크를 포함합니다.