sopaco/cortex-mem

解決的問題

Cortex Memory 是一個為 AI 代理與 LLM 應用程式設計的高效率、持久的長期記憶框架。它解決了 AI 的「無狀態」特性，讓代理能在多個會話中記住使用者的偏好、歷史與特定事實，避免使用者重複輸入資訊，進而提供更個人化的體驗。

工作原理

此系統以 Rust 建構，採用混合式儲存架構，結合使用虛擬檔案系統（透過 cortex:// URI 方案確保持久性）與 Qdrant 進行向量基礎的語意搜尋。它採用三層記憶架構，以優化 LLM 的上下文視窗使用：

• L0（抽象）： 粗粒度篩選（約 100 個 token）。
• L1（概要）： 結構化摘要與關鍵實體（約 500–2000 個 token）。
• L2（細節）： 完整的對話內容（可變 token 數）。

自動化流程利用 LLM 從對話中提取結構化記憶，透過嵌入向量進行索引，並透過事件驅動系統進行管理，包含基於艾賓浩斯遺忘曲線的「遺忘機制」，用以清除低強度記憶。

適用對象

• 開發 LLM 驅動的聊天機器人與代理的開發者。
• 建構個人化 AI 助手的團隊。
• 需要持久記憶核心的開源專案。

主要亮點

• 三層架構： 透過漸進式揭露（L0 → L1 → L2）優化 token 使用。
• 虛擬檔案系統： 將記憶儲存為 Markdown 檔案，便於移植與版本控制相容。
• 語意搜尋： 支援跨使用者、代理與會話維度的元資料過濾之高效率相似性搜尋。
• 多模態存取： 支援 REST API、CLI、MCP 協定以及直接的 Rust 庫整合。
• 資源高效： 包含 LLM 結果快取，可減少 50–75% 的重複 API 呼叫。
• 可觀測性： 提供基於 Svelte 5 的 Web 仪表板，用於租戶管理與記憶可視化。