aiming-lab/SimpleMem

SimpleMem: Efficient Lifelong Memory for LLM Agents — Text & Multimodal

What it solves

SimpleMem 提供一個長期記憶系統給 LLM 代理，避免在原始、代幣密集的互動歷史與緩慢、昂貴的推理迴圈之間的取捨。它讓代理能在多個會話間保持上下文並有效回憶過去資訊，而不必重複處理冗餘資料。

How it works

SimpleMem 使用三部分架構來管理記憶：

  1. Text Memory：將非結構化互動壓縮成緊湊、獨立的事實，並解決指代與絕對時間戳記。它使用語意結構化壓縮、線上合成去除冗餘，以及意圖感知的檢索規劃來組合精確上下文。
  2. Multimodal Memory (Omni-SimpleMem)：將相同原則擴展至文字、影像、音訊與影片。它採用熵驅動過濾進行攝取，混合 FAISS 與 BM25 檢索搭配金字塔代幣預算擴展，並使用知識圖譜增強跨模態推理。
  3. Self-Evolving Retrieval (EvolveMem)：一個自主迴圈（Evaluate → Diagnose → Propose → Guard），利用 LLM 診斷檢索失敗並自動調整設定（如 top_k 與融合模式），隨時間提升效能。

Who it’s for

開發需要在多個會話間保持持久、長期記憶的 LLM 代理的開發者，以及需要將多模態資料（影像、音訊、影片）整合進代理記憶堆疊的使用者。

Highlights

  • Semantically Lossless Compression：在推論時將代幣消耗降低約 30 倍，同時提升召回準確度。
  • Multimodal Support：統一處理文字、影像、音訊與影片記憶。
  • Self-Optimizing：檢索機制可根據開發問題集自行優化配置。
  • MCP Integration：可作為雲端服務或透過 Docker 自行部署，兼容 Claude Desktop、Cursor 與其他 MCP 客戶端。