zjunlp/LightMem

해결하는 문제

LightMem은 대규모 언어 모델(LLM)과 AI 에이전트에게 장기 기억 기능을 제공하기 위해 설계된 경량 메모리 관리 프레임워크입니다. 장시간의 대화나 상호작용에서 정보를 효율적으로 저장하고 검색하며 업데이트하는 문제를 해결하며, 과도한 계산 자원을 소비하지 않도록 합니다.

작동 방식

LightMem은 모듈식 아키텍처를 사용하여 메모리 관리를 플러그인 가능한 구성 요소로 분리합니다. 정보는 LLMLingua-2와 같은 도구를 이용한 사전 압축, 주제 분할, 임베딩 기반 검색을 거치는 파이프라인을 통해 처리됩니다. 온라인 및 오프라인 메모리 업데이트를 모두 지원하며, OpenAI, DeepSeek, Ollama, vLLM 등의 다양한 LLM 백엔드와 Qdrant, FAISS 등의 벡터 데이터베이스와 통합할 수 있습니다.

대상 사용자

이 프레임워크는 여행 계획 에이전트나 코드 어시스턴트와 같은 장기적인 상호작용에서 문맥을 유지하기 위해 지속적이고 효율적인 메모리 계층이 필요한 지능형 애플리케이션을 개발하는 개발자를 대상으로 합니다.

주요 특징

• 모듈식 설계: 사용자 정의 저장 엔진과 검색 전략을 지원합니다.
• 광범위한 호환성: Ollama, vLLM, Transformers를 통해 클라우드 API와 로컬 모델과 호환됩니다.
• 효율적인 처리: 토큰 사용량을 줄이기 위해 사전 압축과 주제 분할을 포함합니다.
• MCP 서버 지원: AI 생태계에 더 쉽게 통합할 수 있도록 Model Context Protocol과 호환됩니다.
• 다양한 메모리 방법: 그래프 기반의 FluxMem, 멀티모달 대응의 EM²Mem, 계층 구조를 가진 StructMem 등 전용 변형을 포함합니다.