Lynpoint/CyberVerse

Self hosted, real-time digital human agent platform. Build voice-first AI agents with WebRTC, persona memory, tools, RAG, and optional digital-human video.

해결하는 문제

CyberVerse는 실시간으로 보고, 듣고, 말할 수 있는 인터랙티브한 디지털 휴먼 생성을 가능하게 합니다. 저지연 음성 상호작용, 페르소나 기반 대화 및 동기화된 비디오 아바타를 조정하는 복잡한 문제를 해결하여, 사용자가 사진 한 장만으로 살아있는 디지털 에이전트를 구현할 수 있도록 합니다.

작동 원리

이 프레임워크는 멀티 에이전트 아키텍처를 사용합니다. 포그라운드의 PersonaAgent는 유동적인 실시간 대화와 중단을 관리하고, 백그라운드의 SubAgents는 리서치나 요약과 같은 장기적인 작업을 처리합니다. 저지연 통신을 위해 WebRTC를 활용하며, 두뇌, 음성, 얼굴과 같은 구성 요소를 교체할 수 있는 플러그인 기반 스택을 지원합니다. 로컬 모델(FlashHead 또는 LiveAct 등)을 구동하거나 클라우드 기반 디지털 휴먼 API를 사용할 수 있습니다.

대상 사용자

몰입형 AI 에이전트, 엔터테인먼트용 디지털 캐릭터, 또는 지속적인 메모리와 전문 지식이 필요한 인터랙티브 음성/비디오 어시스턴트를 구축하려는 개발자와 크리에이터.

주요 특징

실시간 비디오 상호작용: 디지털 휴먼과 함께 전이중(full-duplex) 방식의 자연스러운 화상 통화를 지원합니다.
멀티 에이전트 아키텍처: 대화 흐름과 무거운 계산 작업을 분리합니다.
캐릭터 메모리 및 RAG: 대화 기록에는 로컬 스토리지를 사용하고, 지식 기반 페르소나 정렬에는 RAG를 사용합니다.
확장 가능한 플러그인 시스템: LiteLLM과 같은 통합 인터페이스를 통해 LLM, TTS, ASR 및 비전 모듈을 교체할 수 있습니다.