zjunlp/LightMem

解決的問題

LightMem 是一個為大型語言模型（LLMs）和 AI 代理設計的輕量級記憶管理框架，旨在賦予其長期記憶能力。它解決了在不消耗過多計算資源的前提下，高效儲存、檢索與更新長時間對話或互動資訊的挑戰。

工作原理

LightMem 採用模組化架構，將記憶管理拆分為可插入的元件。資訊透過一個包含預壓縮（使用 LLMLingua-2 等工具）、主題分割與基於嵌入的檢索的流程進行處理。它支援線上與離線記憶更新，並可與多種 LLM 後端（包括 OpenAI、DeepSeek、Ollama 和 vLLM）以及向量資料庫（如 Qdrant 和 FAISS）整合。

適用對象

此框架適用於開發智慧應用的開發者，例如旅行規劃代理或程式碼助手，這些應用需要一個持久且高效的記憶層，以在長期互動中維持上下文。

主要亮點

• 模組化設計：支援自訂儲存引擎與檢索策略。
• 廣泛相容性：透過 Ollama、vLLM 和 Transformers 與雲端 API 和本地模型相容。
• 高效處理：包含預壓縮與主題分割，以減少 token 使用量。
• 支援 MCP 伺服器：與 Model Context Protocol 相容，便於整合至 AI 生態系統中。
• 多樣化的記憶方法：包含專用變體，如基於圖的 FluxMem、多模態的 EM²Mem 和階層結構的 StructMem。