zjunlp/LightMem

它解决的问题

大型语言模型（LLM）和 AI 代理经常在对话中丢失上下文，迫使它们重新处理整个历史记录。这既慢又昂贵。LightMem 为这些系统提供了轻量级的长期记忆：它存储、检索和更新之前的交互，使应用程序能够记住相关细节，而无需付出高昂的令牌或延迟成本。

它的工作原理

LightMem 是一个模块化框架。它使用预压缩器（如 LLMLingua-2）压缩原始对话历史，将其分段为主题，并生成元数据和摘要。它使用嵌入模型将处理后的记忆存储在向量数据库（Qdrant、FAISS）中。当您提问时，LightMem 会检索最相关的记忆并将其提供给 LLM。记忆还可以通过评分和优化存储条目进行离线更新。该框架支持多种后端——云 API（OpenAI、DeepSeek）和本地模型（Ollama、vLLM）——甚至提供 MCP 服务器以便与其他工具集成。

适用人群

需要持久记忆的 AI 助手、代理或聊天应用程序的开发人员。希望在 LoCoMo 和 LongMemEval 等长上下文基准上重现实验的研究人员。希望使用更轻量、更具成本效益的替代方案来替代更重内存系统的用户。

亮点

• 轻量高效：资源消耗最小，响应速度快。
• 易于使用：简单的 API——只需几行代码即可集成。
• 灵活可扩展：模块化架构支持自定义存储引擎和检索策略。
• 广泛兼容：支持 OpenAI、DeepSeek、Ollama、vLLM 和 Transformers。
• 提供 LoCoMo 和 LongMemEval 基准的复现脚本，具有高准确率和低令牌使用量。
• 包含 MCP 服务器，便于与其他工具集成。
• 提供旅行规划、代码助手和长记忆评估的教程笔记本。