xzf-thu/VoiceMem

Infrastructure for the next generation of voice agents, designed to provide universal memory. It is divided into a left brain and a right brain, storing information and emotions respectively, while a fully streaming architecture eliminates latency at the fundamental level.

解決する課題

VoiceMemは、リアルタイム音声エージェント向けの長期記憶システムを提供し、ユーザーに関する事実情報、感情状態、性格特性を時間をかけて記憶できるようにします。音声対話において大量のメモリを取得する際に一般的に伴う高レイテンシと高トークンコストに対処します。

仕組み

VoiceMemは「ストリーミングデュアルブレイン」アーキテクチャを使用してメモリタイプを分離します：

左脳：スキーマとエンティティを使用して事実情報を管理し、正確な取得を実現します。
右脳：独立したエンティティおよびクロスエンティティノードを通じて、感情的知性、性格、関係情報を管理します。

システムはストリーミング方式で動作し、ユーザーが話している間にASR（自動音声認識）、メモリ抽出、取得を実行します。投機的プリフェッチ（0〜300ミリ秒）と階層ストレージを使用してレイテンシを最小限に抑え、モデルのコンテキストに最も関連性の高いトップKメモリのみを注入してトークン使用量を低く抑えます。

対象者

応答速度を犠牲にすることなく、ボットにユーザーの永続的で感情的な、性格を認識したメモリを持たせる必要がある、リアルタイム音声AIエージェントを構築する開発者。

ハイライト

低レイテンシ：応答時間は約134ミリ秒で、従来のメモリエンジンよりも大幅に高速です。
感情認識：何が言われたかだけでなく、ユーザーが誰であるか、どのように感じているかを追跡します。
効率的なトークン使用：他のシステムの数千トークンと比較して、クエリあたり約430メモリトークンを使用します。
マルチモーダルメモリ：音声プリント、話者ID、サウンドイベント、オーディオからの音楽を記憶できます。
オープンソース：互換性のあるモデルファミリー（Qwen2.5-Omni、Qwen3-Omni、Step-Audio2-Mini）とトレーニングデータセット（ChatMem-400K）が含まれています。