aiming-lab/SimpleMem

SimpleMem: Efficient Lifelong Memory for LLM Agents — Text & Multimodal

What it solves

SimpleMem 提供一个长期记忆系统给 LLM 代理，避免在原始、代币密集的交互历史与缓慢、昂贵的推理循环之间的取舍。它让代理能够在多个会话之间保持上下文并高效回忆过去信息，而无需重复处理冗余数据。

How it works

SimpleMem 使用三部分架构来管理记忆：

  1. Text Memory：将非结构化交互压缩成紧凑、独立的事实，并解决指代和绝对时间戳。它使用语义结构化压缩、在线合成去除冗余，以及意图感知的检索规划来组装精确上下文。
  2. Multimodal Memory (Omni-SimpleMem)：将这些原则扩展到文本、图像、音频和视频。它采用熵驱动过滤进行摄取，混合 FAISS 与 BM25 检索配合金字塔代币预算扩展，并使用知识图谱增强跨模态推理。
  3. Self-Evolving Retrieval (EvolveMem)：一个自主循环（Evaluate → Diagnose → Propose → Guard），利用 LLM 诊断检索失败并自动调优配置（如 top_k 和融合模式），随时间提升性能。

Who it’s for

开发需要在多个会话之间保持持久、长期记忆的 LLM 代理的开发者，以及需要将多模态数据（图像、音频、视频）整合进代理记忆栈的用户。

Highlights

  • Semantically Lossless Compression：在推理时将代币消耗降低约 30 倍，同时提升召回准确性。
  • Multimodal Support：统一处理文本、图像、音频与视频记忆。
  • Self-Optimizing：检索机制可以基于开发问题集自行优化配置。
  • MCP Integration：可作为云托管服务或通过 Docker 自行部署，兼容 Claude Desktop、Cursor 与其他 MCP 客户端。