Lynpoint/CyberVerse

解决的问题

CyberVerse 使创建能够实时看、听、说的交互式数字人成为可能。它解决了协调低延迟语音交互、人格驱动对话以及同步视频虚拟形象的复杂性，允许用户仅凭一张照片即可赋予其生命，使其成为活生生的数字智能体。

工作原理

该框架采用多智能体架构：前台的 PersonaAgent 负责流畅的实时对话和中断处理，而后台的 SubAgents 则处理研究或摘要等长期任务。它利用 WebRTC 实现低延迟通信，并支持基于插件的堆栈，其中大脑、语音和面部等组件是可替换的。它可以驱动本地模型（如 FlashHead 或 LiveAct）或使用基于云端的数字人 API。

适用对象

寻求构建沉浸式 AI 智能体、娱乐用数字角色，或需要持久记忆和专业知识的交互式语音/视频助手的开发者和创作者。

亮点

• 实时视频交互： 支持与数字人进行全双工、自然的视频通话。
• 多智能体架构： 将对话流与沉重的计算任务分离。
• 角色记忆与 RAG： 使用本地存储保存对话历史，并使用 RAG 进行基于知识的人格对齐。
• 可扩展的插件系统： 通过 LiteLLM 等统一接口，实现 LLM、TTS、ASR 和视觉模块的可替换性。