Lynpoint/CyberVerse

解决的问题

CyberVerse 旨在创建实时的、由语音驱动的数字人代理。它允许用户将一张照片变成一个能实时看、听、说的活生生的 AI 角色，提供比基于文本的聊天机器人更自然、更人性化的交互体验。

工作原理

该框架采用模块化、基于插件的架构，其中“大脑”（LLM）、语音（TTS）、听觉（ASR）和面部（头像模型）等组件都是可替换的。它使用一个多代理系统，由负责流畅对话的前台 PersonaAgent 和负责研究或报告生成等复杂异步任务的后台 SubAgents 组成。对于视觉组件，它集成了 FlashHead 和 LiveAct 等本地模型，或云 API（百度西灵、讯飞），并通过 WebRTC 流式传输结果，以实现低延迟、全双工交互。

适用人群

它面向希望构建具有集成语音和视频功能的交互式数字人、虚拟助手或基于角色的 AI 代理的开发者和 AI 爱好者。

亮点

• 单张照片动画：仅凭一张图像即可创建实时数字人。
• 全双工交互：支持用户实时打断 AI 的自然对话。
• 多代理架构：通过 PersonaAgent 和 SubAgents 将对话流畅性与繁重的后台处理分离。
• RAG 集成：支持导入知识库和传记材料，使 AI 响应与特定角色的个性保持一致。
• 模块化技术栈：可轻松切换各种 LLM、TTS 和 ASR 提供商，包括通过 LiteLLM 支持 100 多个提供商。
• 灵活部署：可根据可用的 GPU 资源，作为纯语音代理或完整的数字人视频代理运行。