Lynpoint/CyberVerse

해결하는 문제

CyberVerse는 실시간 음성 기반 디지털 휴먼 에이전트를 만들기 위해 설계되었습니다. 사용자는 단 한 장의 사진을 실시간으로 보고, 듣고, 말할 수 있는 살아있는 AI 캐릭터로 변환할 수 있어, 텍스트 기반 챗봇보다 더 자연스럽고 인간적인 상호작용 경험을 제공합니다.

작동 방식

이 프레임워크는 '뇌'(LLM), 음성(TTS), 청각(ASR), 얼굴(아바타 모델) 구성 요소를 교체할 수 있는 모듈식 플러그인 기반 아키텍처를 사용합니다. 유창한 대화를 담당하는 포그라운드 PersonaAgent와 연구나 보고서 생성 같은 복잡한 비동기 작업을 담당하는 백그라운드 SubAgents로 구성된 멀티 에이전트 시스템을 활용합니다. 시각적 구성 요소의 경우 FlashHead 및 LiveAct 같은 로컬 모델이나 클라우드 API(Baidu Xiling, Xunfei)를 통합하고, WebRTC를 통해 결과를 스트리밍하여 저지연 전이중 상호작용을 구현합니다.

대상 사용자

음성 및 비디오 기능이 통합된 대화형 디지털 휴먼, 가상 비서 또는 캐릭터 기반 AI 에이전트를 구축하려는 개발자와 AI 애호가를 대상으로 합니다.

주요 기능

• 단일 사진 애니메이션: 단 한 장의 이미지로 실시간 디지털 휴먼을 만듭니다.
• 전이중 상호작용: 사용자가 실시간으로 AI를 방해할 수 있는 자연스러운 대화를 지원합니다.
• 멀티 에이전트 아키텍처: PersonaAgent와 SubAgents를 통해 대화의 유창성과 무거운 백그라운드 처리를 분리합니다.
• RAG 통합: 지식 베이스와 전기 자료를 가져와 AI 응답을 특정 캐릭터의 페르소나에 맞출 수 있습니다.
• 모듈식 스택: LiteLLM을 통한 100개 이상의 공급자 지원을 포함해 다양한 LLM, TTS, ASR 공급자를 쉽게 전환할 수 있습니다.
• 유연한 배포: 사용 가능한 GPU 리소스에 따라 순수 음성 에이전트 또는 전체 디지털 휴먼 비디오 에이전트로 실행할 수 있습니다.