TeleAI-UAGI/telemem

What it solves

TeleMem은 에이전트 메모리 관리 레이어로, AI 에이전트가 안정적이고 장기적인 캐릭터 일관성을 유지하는 메모리를 보관하도록 설계되었습니다. 대화형 AI에서 흔히 발생하는 캐릭터 간 메모리 혼동, 느린 쓰기 성능, 멀티모달(특히 비디오) 콘텐츠에 대한 추론 불가능 등의 문제를 해결합니다.

How it works

TeleMem은 캐릭터 인식 요약, 의미 클러스터링, 효율적인 저장 파이프라인을 사용합니다. 대화 메시지가 추가될 때 시스템은 전역 및 캐릭터별 여러 관점에서 요약을 생성합니다. 이후 버퍼와 배치 플러시 메커니즘을 통해 LLM을 이용해 의미가 유사한 메모리를 병합하여 중복을 줄입니다. 저장은 FAISS를 이용한 빠른 벡터 검색과 인간이 읽을 수 있는 메타데이터를 위한 JSON을 동시에 쓰는 듀얼 라이트 방식을 채택합니다. 비디오의 경우 프레임 추출, 캡션 생성, 벡터 데이터베이스 저장 파이프라인을 구현해 ReAct 스타일의 다단계 비디오 추론을 가능하게 합니다.

Who it’s for

이 프로젝트는 다음과 같은 개발자를 위한 것입니다:

• 다중 캐릭터 가상 에이전트 시스템 또는 NPC.
• 동반자 혹은 고객 서비스를 위한 장기 기억 AI 어시스턴트.
• 복잡한 내러티브 혹은 월드빌딩 환경.
• 비디오 콘텐츠를 저장하고 추론할 필요가 있는 에이전트.

Highlights

• Mem0 Compatibility: Mem0과 호환되는 API를 제공하며 고성능 드롭인 대체품으로 작동합니다.
• Character-Isolated Memory: 각 캐릭터마다 독립적인 메모리 프로파일을 자동으로 구축해 퍼소나 혼동을 방지합니다.
• Multimodal Video Memory: 비디오를 텍스트 메모리로 변환하는 전체 파이프라인과 다단계 비디오 QA를 지원합니다.
• Local-First: Qwen과 FAISS를 사용한 완전 로컬 실행을 지원하며 Ollama, DeepSeek, MiniMax와 통합됩니다.
• High Performance: 배치 플러시 동시성을 통해 쓰기 속도를 높이고 장기 대화 벤치마크에서 정확성을 향상시킵니다.