zjunlp/LightMem

해결하는 문제

대규모 언어 모델(LLM)과 AI 에이전트는 대화 간에 컨텍스트를 잃는 경우가 많아 전체 기록을 다시 처리해야 합니다. 이는 느리고 비용이 많이 듭니다. LightMem은 이러한 시스템에 경량 장기 메모리를 제공합니다. 이전 상호 작용을 저장, 검색 및 업데이트하여 애플리케이션이 큰 토큰이나 지연 비용을 지불하지 않고 관련 세부 정보를 기억할 수 있도록 합니다.

작동 방식

LightMem은 모듈식 프레임워크입니다. 사전 압축기(LLMLingua-2 등)로 원시 대화 기록을 압축하고, 주제로 분할하고, 메타데이터와 요약을 생성합니다. 임베딩 모델을 사용하여 처리된 메모리를 벡터 데이터베이스(Qdrant, FAISS)에 저장합니다. 질문을 하면 LightMem이 가장 관련성 높은 메모리를 검색하여 LLM에 제공합니다. 메모리는 저장된 항목을 점수화하고 개선하여 오프라인에서 업데이트할 수도 있습니다. 이 프레임워크는 클라우드 API(OpenAI, DeepSeek)와 로컬 모델(Ollama, vLLM)을 포함한 여러 백엔드를 지원하며, 다른 도구와의 통합을 위한 MCP 서버도 제공합니다.

대상 사용자

지속적인 메모리가 필요한 AI 어시스턴트, 에이전트 또는 채팅 애플리케이션을 구축하는 개발자. LoCoMo 및 LongMemEval과 같은 긴 컨텍스트 벤치마크에서 실험을 재현하려는 연구자. 더 무거운 메모리 시스템에 대한 경량이고 비용 효율적인 대안을 원하는 사용자.

주요 특징

• 경량 및 효율성: 최소한의 리소스 소비와 빠른 응답 시간.
• 사용 용이성: 간단한 API — 몇 줄의 코드로 통합 가능.
• 유연성 및 확장성: 모듈식 아키텍처가 사용자 정의 저장 엔진과 검색 전략을 지원.
• 광범위한 호환성: OpenAI, DeepSeek, Ollama, vLLM 및 Transformers와 호환.
• LoCoMo 및 LongMemEval 벤치마크용 재현 스크립트를 제공하며 높은 정확도와 낮은 토큰 사용량을 보장.
• 다른 도구와의 쉬운 통합을 위한 MCP 서버 포함.
• 여행 계획, 코드 어시스턴트 및 장기 메모리 평가를 위한 튜토리얼 노트북 제공.