zjunlp/LightMem

[ICLR 2026] LightMem: Lightweight and Efficient Memory-Augmented Generation

What it solves

LightMem 旨在为大型语言模型（LLMs）和 AI 代理提供轻量且高效的长期记忆管理系统。它解决了在不消耗过多计算资源或响应时间的前提下，保持用户交互与事件的持久、可检索记忆的挑战。

How it works

LightMem 使用模块化架构来处理记忆的存储、检索和更新。它将过程拆分为可插拔的组件：

  • Pre-compression & Segmentation：使用 llmlingua-2 等工具压缩输入并按主题分段文本。
  • Memory Management：集成各种 LLM 后端（OpenAI、DeepSeek、Ollama、vLLM）以管理记忆内容。
  • Indexing & Retrieval：通过基于嵌入的检索（FAISS、Qdrant 或 BM25）根据用户查询找到相关记忆。
  • Update Mechanism：支持在线和离线更新，以保持记忆的实时性。

Who it’s for

此框架面向构建智能应用的开发者，例如旅行规划代理或代码助手，需要在多个会话之间具备长期记忆能力。

Highlights

  • Modular Design：支持自定义存储引擎和检索策略。
  • Broad Compatibility：兼容云端 API（OpenAI、DeepSeek）和本地模型（Ollama、vLLM、Transformers）。
  • MCP Server Support：兼容 Model Context Protocol，便于集成到 AI 生态系统。
  • Efficient Performance：针对低资源消耗和快速响应时间进行优化。
  • Integrated Evaluation：包含基线评估框架，可与 Mem0、LangMem 等其他记忆层进行基准比较。