Lynpoint/CyberVerse

解决的问题

CyberVerse 致力于解决创建栩栩如生的实时对话式 AI 数字人角色的挑战。它不仅仅是一个简单的聊天机器人，而是一个能够进行实时语音对话、自然地打断与被打断、记忆过往会话、调用角色特定知识，并可选择仅通过一张照片驱动面部动画的智能体。它还通过将长时间运行的任务（如搜索、研究、报告生成）卸载到后台子智能体，解决了性能瓶颈，确保语音交互始终保持流畅。

工作原理

CyberVerse 是一个基于 WebRTC 构建的多智能体框架，旨在实现低延迟的实时语音/视频交互。核心是 PersonaAgent，它位于前台，负责管理流畅的对话、打断和上下文切换。长时间运行的任务被异步委派给 SubAgents，因此主角色可以在后台处理工作的同时继续回答问题。每个角色的对话历史都会在本地持久化并在返回时自动加载，你还可以导入知识源（文档、简介），这些知识会被索引以进行检索增强生成 (RAG)，从而使回答与角色设定保持一致。

对于数字人视频功能，CyberVerse 集成了本地模型（如 FlashHead (1.3B) 和 LiveAct (18B)）或云服务（百度曦灵、讯飞数字人）。该堆栈基于插件架构：大脑、语音、听觉、工具、记忆和面部模块均可替换。配置位于 config/cyberverse.yaml，LLM、TTS、ASR 和嵌入的模型定义会自动从 infra/config/*_models/ 中发现，并在 config/*_models/ 下进行覆盖。/settings 处的 Web UI 允许你切换提供商和模型。系统可以在纯语音模式（无需 GPU 渲染头像）或启用头像视频模式下运行，并包含实时性能因子 (RTP) 检查以诊断流媒体延迟。

适用人群

想要构建交互式 AI 角色、数字人助手或类似 J.A.R.V.I.S. 伴侣的开发者和极客。如果启用头像视频，需要熟悉 Node.js、Go、Conda/Python 和 GPU 设置，但也提供云镜像以加快启动速度。该项目采用 GPL v3 协议，因此也适合那些寻求可自托管、可扩展的闭源数字人平台替代方案的用户。

亮点

• 通过 WebRTC 实现全双工实时语音交互，支持打断功能
• 将单张照片转化为实时数字人视频头像（支持本地模型 FlashHead/LiveAct 或云 API）
• 多智能体设计：PersonaAgent 负责对话 + SubAgents 负责后台任务（搜索、研究、报告生成）
• 持久化的角色记忆和基于导入知识库与文档的 RAG
• 基于插件的架构，大脑、语音、听觉、工具、记忆和面部模块均可替换
• 通过 Web UI 自动发现模型定义并切换提供商
• 通过 LiteLLM 支持 100 多种 LLM 提供商，以及多种 TTS/ASR/嵌入供应商
• 可在纯语音模式下运行，无需本地头像 GPU
• 内置 RTP 指标，用于诊断和调整实时头像流媒体性能