zjunlp/LightMem

解决的问题

LightMem 是一个为大型语言模型（LLMs）和 AI 代理设计的轻量级内存管理框架，旨在赋予其长期记忆能力。它解决了在不消耗过多计算资源的前提下，高效存储、检索和更新长时间对话或交互信息的挑战。

工作原理

LightMem 采用模块化架构，将内存管理拆分为可插拔的组件。信息通过一个包含预压缩（使用 LLMLingua-2 等工具）、主题分割和基于嵌入的检索的流水线进行处理。它支持在线和离线内存更新，并可与多种 LLM 后端（包括 OpenAI、DeepSeek、Ollama 和 vLLM）以及向量数据库（如 Qdrant 和 FAISS）集成。

适用人群

该框架适用于开发智能应用的开发者，例如旅行规划代理或代码助手，这些应用需要一个持久且高效的内存层，以在长期交互中保持上下文。

主要亮点

• 模块化设计：支持自定义存储引擎和检索策略。
• 广泛兼容性：通过 Ollama、vLLM 和 Transformers 与云 API 和本地模型兼容。
• 高效处理：包含预压缩和主题分割，以减少令牌使用量。
• 支持 MCP 服务器：与 Model Context Protocol 兼容，便于集成到 AI 生态系统中。
• 多样化的内存方法：包含专有变体，如基于图的 FluxMem、多模态的 EM²Mem 和分层结构的 StructMem。