Lynpoint/CyberVerse

해결하는 문제

CyberVerse는 디지털 휴먼처럼 행동하는 생생한 실시간 대화형 AI 캐릭터를 만드는 과제를 해결합니다. 단순한 챗봇이 아니라 실시간 음성 대화를 유지하고, 자연스럽게 끼어들거나 끼어들기를 당하고, 과거 세션을 기억하고, 캐릭터별 지식을 불러오며, 사진 한 장으로 얼굴 애니메이션을 생성할 수 있는 에이전트를 제공합니다. 또한 장시간 실행되는 작업(검색, 조사, 보고서 생성)을 백그라운드 하위 에이전트로 오프로드하여 음성 상호 작용이 즉각적으로 유지되도록 성능 문제를 해결합니다.

작동 방식

CyberVerse는 저지연 실시간 음성/비디오 상호 작용을 위해 WebRTC 기반으로 구축된 멀티 에이전트 프레임워크입니다. 핵심은 PersonaAgent로, 전면에서 유연한 대화, 끼어들기, 컨텍스트 전환을 관리합니다. 장시간 실행되는 작업은 SubAgents에 비동기적으로 위임되므로 백그라운드에서 작업이 진행되는 동안에도 메인 캐릭터는 계속 답변할 수 있습니다. 각 캐릭터의 대화 기록은 로컬에 저장되고 복귀 시 자동으로 로드되며, 지식 소스(문서, 프로필)를 가져와 검색 증강 생성(RAG)을 위해 인덱싱하여 답변을 페르소나에 맞출 수 있습니다.

디지털 휴먼 비디오 기능의 경우, CyberVerse는 FlashHead(1.3B) 및 LiveAct(18B)와 같은 로컬 모델이나 클라우드 서비스(Baidu Xiling, Xunfei Digital Human)를 통합합니다. 스택은 플러그인 기반으로, 뇌, 음성, 청각, 도구, 기억 및 얼굴 모듈을 모두 교체할 수 있습니다. 설정은 config/cyberverse.yaml에 있으며, LLM, TTS, ASR 및 임베딩에 대한 모델 정의는 infra/config/*_models/에서 자동으로 검색되고 config/*_models/에서 재정의할 수 있습니다. /settings의 웹 UI를 통해 제공업체와 모델을 교체할 수 있습니다. 시스템은 순수 음성 모드(아바타용 GPU 불필요) 또는 아바타 비디오 활성화 모드로 실행할 수 있으며, 스트리밍 지연을 진단하기 위한 실시간 성능 계수(RTP) 확인 기능이 포함되어 있습니다.

대상 사용자

대화형 AI 캐릭터, 디지털 휴먼 어시스턴트 또는 J.A.R.V.I.S.와 같은 동반자를 구축하려는 개발자 및 애호가를 위한 프로젝트입니다. 아바타 비디오를 활성화하려면 Node.js, Go, Conda/Python 및 GPU 설정에 대한 지식이 필요하지만, 더 빠른 시작을 위해 클라우드 이미지를 사용할 수 있습니다. 이 프로젝트는 GPL v3 라이선스를 따르므로 폐쇄형 디지털 휴먼 플랫폼을 대체할 수 있는 자체 호스팅 가능하고 확장 가능한 대안을 찾는 분들에게 적합합니다.

주요 특징

• WebRTC를 통한 전이중 실시간 음성 상호 작용 및 끼어들기 지원
• 사진 1장으로 실시간 디지털 휴먼 비디오 아바타 생성(로컬 모델 FlashHead/LiveAct 또는 클라우드 API)
• 멀티 에이전트 설계: 대화를 담당하는 PersonaAgent + 백그라운드 작업(검색, 조사, 보고서 생성)을 담당하는 SubAgents
• 지속적인 캐릭터 기억 및 가져온 지식 베이스와 문서에 대한 RAG
• 뇌, 음성, 청각, 도구, 기억, 얼굴 모듈을 교체할 수 있는 플러그인 기반 아키텍처
• 웹 UI를 통한 모델 정의 자동 검색 및 제공업체 전환
• LiteLLM을 통해 100개 이상의 LLM 제공업체 지원 및 다수의 TTS/ASR/임베딩 공급업체 지원
• 로컬 아바타 GPU가 필요 없는 순수 음성 모드 실행 가능
• 실시간 아바타 스트리밍 성능을 진단하고 조정하기 위한 내장 RTP 메트릭