xzf-thu/VoiceMem

Infrastructure for the next generation of voice agents, designed to provide universal memory. It is divided into a left brain and a right brain, storing information and emotions respectively, while a fully streaming architecture eliminates latency at the fundamental level.

해결하는 문제

VoiceMem은 실시간 음성 에이전트를 위한 장기 메모리 시스템을 제공하여 사용자에 대한 사실 정보, 감정 상태, 성격 특성을 시간이 지남에 따라 기억할 수 있게 합니다. 음성 상호작용에서 대량의 메모리를 검색할 때 일반적으로 수반되는 높은 지연 시간과 높은 토큰 비용을 해결합니다.

작동 방식

VoiceMem은 "스트리밍 듀얼 브레인" 아키텍처를 사용하여 메모리 유형을 분리합니다:

왼쪽 뇌: 스키마와 엔티티를 사용하여 사실 정보를 관리하여 정확한 검색을 가능하게 합니다.
오른쪽 뇌: 독립 엔티티 및 교차 엔티티 노드를 통해 감성 지능, 성격, 관계 정보를 관리합니다.

시스템은 스트리밍 방식으로 작동하여 사용자가 말하는 동안 ASR(자동 음성 인식), 메모리 추출, 검색을 수행합니다. 투기적 프리페칭(0~300ms)과 계층적 저장소를 사용하여 지연 시간을 최소화하고, 모델의 컨텍스트에 가장 관련성 높은 상위 K 메모리만 주입하여 토큰 사용량을 낮게 유지합니다.

대상

응답 속도를 희생하지 않고 봇이 사용자에 대한 지속적이고 감정적이며 성격을 인식하는 메모리를 갖도록 해야 하는 실시간 음성 AI 에이전트를 구축하는 개발자.

주요 특징

낮은 지연 시간: 응답 시간 약 134ms로 기존 메모리 엔진보다 훨씬 빠릅니다.
감정 인식: 말한 내용뿐만 아니라 사용자가 누구인지, 어떻게 느끼는지도 추적합니다.
효율적인 토큰 사용: 다른 시스템의 수천 개와 비교하여 쿼리당 약 430개의 메모리 토큰을 사용합니다.
멀티모달 메모리: 음성 프린트, 화자 ID, 사운드 이벤트, 오디오의 음악을 기억할 수 있습니다.
오픈 소스: 호환 가능한 모델 제품군(Qwen2.5-Omni, Qwen3-Omni, Step-Audio2-Mini)과 훈련 데이터셋(ChatMem-400K)을 포함합니다.