zjunlp/LightMem

解決する課題

大規模言語モデル（LLM）と AI エージェントは、会話間でコンテキストを失うことが多く、履歴全体を再処理する必要があります。これは遅くてコストがかかります。LightMem は、これらのシステムに軽量な長期メモリを提供します。以前のやり取りを保存、取得、更新することで、アプリケーションは大きなトークンやレイテンシのコストをかけずに、関連する詳細を記憶できます。

仕組み

LightMem はモジュール式フレームワークです。事前圧縮器（LLMLingua-2 など）を使用して生の会話履歴を圧縮し、トピックに分割して、メタデータと要約を生成します。埋め込みモデルを使用して、処理されたメモリをベクトルデータベース（Qdrant、FAISS）に保存します。質問すると、LightMem は最も関連性の高いメモリを取得して LLM に提供します。メモリは、保存されたエントリをスコアリングして改良することで、オフラインで更新することもできます。このフレームワークは、クラウド API（OpenAI、DeepSeek）とローカルモデル（Ollama、vLLM）の複数のバックエンドをサポートし、他のツールとの統合のための MCP サーバーも提供します。

対象ユーザー

永続的なメモリを必要とする AI アシスタント、エージェント、チャットアプリケーションを構築する開発者。LoCoMo や LongMemEval などの長文コンテキストのベンチマークで実験を再現したい研究者。より重いメモリシステムに代わる、軽量でコスト効率の高い代替手段を求めるユーザー。

ハイライト

軽量で効率的：リソース消費が最小限で、応答時間が速い。
使いやすい：シンプルな API——数行のコードで統合可能。
柔軟で拡張可能：モジュール式アーキテクチャがカスタムストレージエンジンと検索戦略をサポート。
幅広い互換性：OpenAI、DeepSeek、Ollama、vLLM、Transformers と連携。
LoCoMo と LongMemEval のベンチマーク用の再現スクリプトを提供し、高い精度と低いトークン使用量を実現。
他のツールとの簡単な統合のための MCP サーバーを含む。
旅行計画、コードアシスタント、長期メモリ評価のためのチュートリアルノートブックを提供。