aiming-lab/SimpleMem

SimpleMem: Efficient Lifelong Memory for LLM Agents — Text & Multimodal

What it solves

SimpleMem 은 LLM 에이전트를 위한 장기 메모리 시스템을 제공하여, 원시 토큰이 많이 필요한 상호작용 히스토리와 느리고 비용이 많이 드는 추론 루프 사이의 트레이드오프를 피합니다. 에이전트는 세션 간에 컨텍스트를 유지하고 중복 데이터를 반복 처리하지 않고도 과거 정보를 효율적으로 회상할 수 있습니다.

How it works

SimpleMem 은 메모리 관리를 위해 세 부분으로 구성된 아키텍처를 사용합니다.

  1. Text Memory: 비구조화된 상호작용을 압축하여 자체 포함된 사실로 만들고, 코어퍼런스와 절대 타임스탬프를 해결합니다. 의미 구조화 압축, 온라인 합성을 통한 중복 제거, 의도 인식 검색 계획을 결합해 정확한 컨텍스트를 조립합니다.
  2. Multimodal Memory (Omni-SimpleMem): 이러한 원칙을 텍스트, 이미지, 오디오, 비디오에 확장합니다. 엔트리 시 엔트로피 기반 필터링을 사용하고, FAISS와 BM25를 혼합한 검색에 피라미드 토큰 예산 확장을 적용하며, 지식 그래프를 통해 크로스모달 추론을 강화합니다.
  3. Self-Evolving Retrieval (EvolveMem): 자율 루프 (Evaluate → Diagnose → Propose → Guard) 로, LLM을 이용해 검색 실패를 진단하고 top_k 및 융합 모드와 같은 설정을 자동으로 튜닝하여 시간이 지남에 따라 성능을 향상시킵니다.

Who it’s for

세션 간에 지속적이고 장기적인 메모리가 필요한 LLM 에이전트를 구축하는 개발자와, 에이전트 메모리 스택에 멀티모달 데이터(이미지, 오디오, 비디오)를 통합하려는 사용자에게 적합합니다.

Highlights

  • Semantically Lossless Compression: 추론 시 토큰 소비를 약 30배 감소시키면서 리콜 정확도를 향상시킵니다.
  • Multimodal Support: 텍스트, 이미지, 오디오, 비디오 메모리를 통합적으로 처리합니다.
  • Self-Optimizing: 검색 메커니즘이 개발용 질문 세트를 기반으로 자체 설정을 최적화할 수 있습니다.
  • MCP Integration: 클라우드 호스팅 서비스 또는 Docker를 통한 자체 호스팅이 가능하며, Claude Desktop, Cursor 및 기타 MCP 클라이언트와 호환됩니다.