Lynpoint/CyberVerse

解決的問題

CyberVerse 旨在建立即時的、由語音驅動的數位人類代理。它允許使用者將一張照片變成一個能即時看、聽、說的活生生 AI 角色，提供比基於文字的聊天機器人更自然、更人性化的互動體驗。

運作方式

此框架採用模組化、基於外掛的架構，其中「大腦」（LLM）、語音（TTS）、聽覺（ASR）和臉部（頭像模型）等元件都是可替換的。它使用一個多代理系統，由負責流暢對話的前台 PersonaAgent 和負責研究或報告生成等複雜非同步任務的後台 SubAgents 組成。對於視覺元件，它整合了 FlashHead 和 LiveAct 等本地模型，或雲端 API（百度西靈、訊飛），並透過 WebRTC 串流傳輸結果，以實現低延遲、全雙工互動。

適用對象

它面向希望建立具有整合語音和視訊功能的互動式數位人類、虛擬助理或基於角色的 AI 代理的開發者和 AI 愛好者。

亮點

• 單張照片動畫：僅憑一張影像即可建立即時數位人類。
• 全雙工互動：支援使用者即時打斷 AI 的自然對話。
• 多代理架構：透過 PersonaAgent 和 SubAgents 將對話流暢性與繁重的後台處理分離。
• RAG 整合：支援匯入知識庫和傳記材料，使 AI 回應與特定角色的個性保持一致。
• 模組化技術棧：可輕鬆切換各種 LLM、TTS 和 ASR 提供者，包括透過 LiteLLM 支援 100 多個提供者。
• 彈性部署：可根據可用的 GPU 資源，作為純語音代理或完整的數位人類視訊代理執行。