zjunlp/LightMem

[ICLR 2026] LightMem: Lightweight and Efficient Memory-Augmented Generation

What it solves

LightMem 旨在為大型語言模型（LLMs）與 AI 代理提供輕量且高效的長期記憶管理系統。它解決了在不消耗過多計算資源或回應時間的前提下，維持使用者互動與事件的持久、可檢索記憶的挑戰。

How it works

LightMem 採用模組化架構來處理記憶的儲存、檢索與更新。它將流程拆分為可插拔的元件：

  • Pre-compression & Segmentation：使用 llmlingua-2 等工具壓縮輸入並依主題切分文字。
  • Memory Management：整合各種 LLM 後端（OpenAI、DeepSeek、Ollama、vLLM）以管理記憶內容。
  • Indexing & Retrieval：透過嵌入式檢索（FAISS、Qdrant 或 BM25）根據使用者查詢找出相關記憶。
  • Update Mechanism：支援線上與離線更新，以保持記憶的即時性。

Who it’s for

此框架適用於開發智慧應用的開發者，例如旅遊規劃代理或程式碼助理，需要在多個會話間具備長期記憶能力。

Highlights

  • Modular Design：支援自訂儲存引擎與檢索策略。
  • Broad Compatibility：可與雲端 API（OpenAI、DeepSeek）及本地模型（Ollama、vLLM、Transformers）協同運作。
  • MCP Server Support：相容 Model Context Protocol，便於整合至 AI 生態系統。
  • Efficient Performance：針對低資源消耗與快速回應時間進行最佳化。
  • Integrated Evaluation：內建基線評估框架，可與 Mem0、LangMem 等其他記憶層進行效能比較。