xzf-thu/VoiceMem

Infrastructure for the next generation of voice agents, designed to provide universal memory. It is divided into a left brain and a right brain, storing information and emotions respectively, while a fully streaming architecture eliminates latency at the fundamental level.

해결하는 문제

VoiceMem은 실시간 음성 에이전트를 위해 특별히 설계된 장기 기억 시스템을 제공합니다. 기존 메모리 검색 방식의 높은 지연과 높은 토큰 비용 문제를 해결하면서, 사용자의 성격, 감정, 관계성과 같은 정보도 사실 외에 기억할 수 있도록 합니다.

작동 방식

VoiceMem은 '스트리밍 이중 뇌' 아키텍처를 사용하여 기억을 분리하고 처리합니다:

왼쪽 뇌: 스키마와 엔티티 기반의 사실 정보를 관리하여 고정밀 검색을 수행합니다.
오른쪽 뇌: 독립적이고 엔티티 간 연결된 노드를 사용해 감정 지능, 성격, 관계 데이터를 처리합니다.

시스템은 사용자가 말하는 도중에도 음성 분할, 음성 인식(ASR), 화자 식별, 감정 탐지 등을 수행하는 스트리밍 파이프라인으로 작동합니다. 사용자가 문장을 마치기 전에 사전에 메모리를 미리 불러오는 '예측적 프리페치(0–300ms)'를 사용하여, 모델 컨텍스트에 주로 관련성 높은 상위 K개의 메모리만 삽입함으로써 토큰 사용량을 최소화합니다.

대상 사용자

지속적이고 저지연, 감정 인식 가능한 장기 기억을 필요로 하되 컨텍스트 창이 과도하게 커지는 것을 피하고자 하는 실시간 음성 AI 에이전트 개발자들.

주요 특징

저지연: 134ms 응답 시간으로 Mem0 등 대안보다 훨씬 빠릅니다.
고정확도: 상위 5개 메모리만 사용해 LoCoMo 벤치마크에서 91.2%의 정확도 달성.
다중모달 메모리: 음성, 화자, 사운드 이벤트, 음악을 음성에서 기억 가능.
토큰 효율성: 다른 시스템이 수천 토큰을 사용하는 반면, 약 430 토큰/질의로 운영.
통합 파이프라인: ASR, 화자 식별, 감정 인식을 메모리 수집 프로세스에 통합.