zjunlp/LightMem

何を解決するか

LightMem は、大規模言語モデル（LLM）およびAIエージェントに長期記憶機能を提供する軽量なメモリ管理フレームワークです。長時間の会話や相互作用から情報を効率的に保存・取得・更新する課題に取り組み、過度な計算リソースを消費することなく実現します。

動作方法

LightMem はモジュール式アーキテクチャを採用しており、メモリ管理をプラグ可能なコンポーネントに分離しています。情報は、LLMLingua-2 などのツールによる事前圧縮、トピックセグメンテーション、埋め込みベースの検索を経るパイプラインで処理されます。オンラインおよびオフラインのメモリ更新をサポートし、OpenAI、DeepSeek、Ollama、vLLM などのさまざまなLLMバックエンドおよび Qdrant や FAISS などのベクトルデータベースと統合可能です。

対象ユーザー

このフレームワークは、旅行計画エージェントやコードアシスタントなど、長期間の相互作用において文脈を維持するための持続的で効率的なメモリ層を必要とするインテリジェントなアプリケーションを開発する開発者を対象としています。

特徴

• モジュール式設計：カスタムストレージエンジンと検索戦略をサポート。
• 広範な互換性：Ollama、vLLM、Transformers を通じてクラウドAPIおよびローカルモデルと連携可能。
• 効率的な処理：トークン使用量を削減するための事前圧縮とトピックセグメンテーションを含む。
• MCPサーバー対応：AIエコシステムへの統合を容易にする Model Context Protocol に対応。
• 多様なメモリ手法：グラフベースの FluxMem、マルチモーダル対応の EM²Mem、階層構造を持つ StructMem など、専用のバリエーションを含む。