TeleAI-UAGI/telemem

해결하는 문제

TeleMem은 대화형 AI에 안정적이고 장기적이며 다중 모달 기억을 제공하기 위해 설계된 에이전트 메모리 관리 레이어입니다. 장시간 대화에서 일관된 캐릭터 설정을 유지할 수 없거나, 토큰 비용이 높거나, 비디오 콘텐츠를 구조적으로 저장하고 추론할 수 없는 AI 에이전트의 일반적인 문제를 해결합니다.

작동 방식

TeleMem은 캐릭터 인식 요약, 의미적 클러스터링, 효율적 저장을 통한 파이프라인을 사용하여 정보를 관리합니다. 대화에서 핵심 사실을 추출하고, LLM을 활용해 유사한 기억을 의미적으로 병합하여 충돌을 줄입니다. 텍스트의 경우, 빠른 벡터 검색을 위한 FAISS와 인간이 읽기 쉬운 메타데이터를 위한 JSON을 사용하는 이중 저장 시스템을 채택합니다. 비디오의 경우, 프레임 추출, 캡션 생성, 벡터 데이터베이스 저장을 포함하는 파이프라인을 구현하여 에이전트가 비디오 콘텐츠에 대해 다단계 추론(ReAct 스타일)을 수행할 수 있도록 합니다.

대상 사용자

이 프로젝트는 다중 캐릭터 가상 에이전트 시스템을 개발하는 개발자, 장기 기억을 갖춘 AI 어시스턴트(예: 동반 AI 또는 고객 서비스 AI)를 개발하는 사람, 비디오 이해 및 정보 검색을 위한 다중 모달 기능이 필요한 에이전트를 개발하는 사람들을 위한 것입니다.

주요 특징

• 캐릭터별 메모리: 서로 다른 캐릭터에 대해 고립된 메모리 프로필을 자동 생성하여 성격 혼동을 방지합니다.
• 다중 모달 비디오 지원: 비디오를 프레임과 캡션으로 변환하여 벡터 기반 검색과 추론에 활용하는 완전한 파이프라인을 제공합니다.
• Mem0 호환성: 호환 API를 갖춘 고성능 대체품으로, Mem0에 쉽게 대체할 수 있습니다.
• 로컬 우선: Qwen과 FAISS를 사용해 완전히 로컬에서 실행 가능하여 데이터 프라이버시를 보장합니다.
• 고성능: 배치 플러싱을 통한 빠른 쓰기 속도와 기준 대비 높은 메모리 정확도를 제공합니다.