xzf-thu/VoiceMem

Infrastructure for the next generation of voice agents, designed to provide universal memory. It is divided into a left brain and a right brain, storing information and emotions respectively, while a fully streaming architecture eliminates latency at the fundamental level.

解决的问题

VoiceMem 为实时语音代理提供长期记忆系统，使其能够随着时间的推移记住用户的事实信息、情绪状态和个性特征。它解决了在语音交互中检索大量记忆时通常伴随的高延迟和高令牌成本问题。

工作原理

VoiceMem 采用“流式双脑”架构来分离记忆类型：

左脑：使用模式和实体管理事实信息，实现精确检索。
右脑：通过独立实体和跨实体节点管理情绪智能、个性和关系信息。

系统以流式方式运行，在用户说话的同时执行 ASR（自动语音识别）、记忆提取和检索。它使用推测性预取（0–300 毫秒）和分层存储来最小化延迟，仅将最相关的 top-K 记忆注入模型上下文，以保持较低的令牌使用量。

适用对象

构建实时语音 AI 代理的开发人员，这些代理需要在不牺牲响应速度的情况下，对用户拥有持久、情绪化和个性感知的记忆。

亮点

低延迟：响应时间约为 134 毫秒，明显快于传统记忆引擎。
情绪感知：不仅跟踪说了什么，还跟踪用户是谁以及他们的感受。
高效令牌使用：每次查询约使用 430 个记忆令牌，而其他系统则使用数千个。
多模态记忆：能够记住语音印记、说话人 ID、声音事件和音频中的音乐。
开源：包含一系列兼容模型（Qwen2.5-Omni、Qwen3-Omni、Step-Audio2-Mini）和训练数据集（ChatMem-400K）。