sopaco/cortex-mem

해결하는 문제

Cortex Memory는 AI 에이전트 및 LLM 애플리케이션을 위한 고성능이고 지속 가능한 장기 기억 프레임워크입니다. AI의 '상태 없음(stateless)' 특성을 해결하여 사용자의 선호사항, 기록, 특정 사실을 여러 세션에 걸쳐 기억할 수 있게 하여 사용자가 정보를 반복해서 입력할 필요 없이 더 개인화된 경험을 제공합니다.

작동 방식

Rust로 구현된 이 시스템은 내구성을 위해 가상 파일 시스템(cortex:// URI 스킴 사용)과 벡터 기반 의미 검색을 위한 Qdrant을 결합한 하이브리드 스토리지 아키텍처를 사용합니다. LLM의 컨텍스트 창 사용을 최적화하기 위해 세 단계 메모리 계층을 채택합니다:

• L0 (개념): 거친 스크리닝 (~100 토큰).
• L1 (개요): 구조화된 요약 및 핵심 엔티티 (~500-2000 토큰).
• L2 (세부): 전체 대화 내용 (변동 토큰 수).

자동화된 파이프라인은 LLM을 사용해 대화에서 구조화된 기억을 추출하고, 임베딩을 통해 인덱싱하며, 이벤트 기반 시스템을 통해 관리합니다. 이 시스템은 에빙하우스의 망각 곡선을 기반으로 한 '망각 메커니즘'을 포함하여 낮은 강도의 기억을 정리합니다.

대상 사용자

• LLM 기반 챗봇 및 에이전트를 개발하는 개발자.
• 개인화된 AI 어시스턴트를 개발하는 팀.
• 지속 가능한 기억 기반을 필요로 하는 오픈소스 프로젝트.

주요 특징

• 세 단계 계층: 점진적 노출(L0 → L1 → L2)을 통해 토큰 사용량을 최적화.
• 가상 파일 시스템: 메모리를 마크다운 파일로 저장하여 이식성과 버전 관리 호환성 확보.
• 의미 기반 검색: 사용자, 에이전트, 세션 차원에서 메타데이터 필터링을 지원하는 고성능 유사성 검색.
• 다중 모달 접근: REST API, CLI, MCP 프로토콜, 직접적인 Rust 라이브러리 통합을 지원.
• 자원 효율성: LLM 결과 캐싱을 포함하여 중복 API 호출을 50-75% 감소.
• 관측성: Svelte 5 기반 웹 대시보드를 제공하여 테넌트 관리 및 메모리 시각화 가능.