openspline/openspline

해결하는 문제

OpenSpline을 사용하면 개발자는 기존 음성 AI 에이전트에 동기화된 토킹 페이스를 추가할 수 있습니다. 오디오 전용 AI 응답과 시각적 아바타 사이의 격차를 해소하여 최소한의 설정으로 정적 초상화와 생성된 오디오를 실시간 움직이는 비디오 스트림으로 변환할 수 있습니다.

작동 방식

오디오 기반 토킹헤드 모델을 사용하여 들어오는 오디오 스트림에 따라 초상화를 애니메이션화합니다. 개발자는 Python 또는 Node.js SDK를 사용하여 기존 에이전트 워크플로우에 통합할 수 있습니다. 시스템은 오디오와 비디오의 동기화를 처리하고, 중단(바지인) 처리를 지원하며, 아바타 표시를 위한 내장 웹 구성 요소를 제공합니다. OpenSpline Cloud를 통해 실행하거나 자체 NVIDIA GPU 하드웨어에서 자체 호스팅할 수 있습니다.

대상 사용자

이 도구는 음성 기반 애플리케이션에 시각적 인터페이스를 추가하려는 대화형 AI 에이전트를 구축하는 개발자를 위한 것입니다. 이미 에이전트(OpenAI, LiveKit, Gemini 또는 ElevenLabs와 같은 제공업체 사용)를 보유하고 있으며 기존 로직을 재구축하지 않고 얼굴을 추가하려는 사람들을 위해 설계되었습니다.

주요 특징

• 대부분의 음성 AI 에이전트에 대해 5줄 통합.
• LiveKit, OpenAI Realtime 및 ElevenLabs와 같은 인기 프레임워크용 내장 커넥터.
• 클라우드 호스팅 및 자체 호스팅(로컬 GPU) 배포를 모두 지원합니다.
• 아바타 표시를 위한 즉시 사용 가능한 React 및 웹 구성 요소가 포함되어 있습니다.
• 오디오-비디오 동기화, 유휴 모션 및 바지인 중단과 같은 복잡한 기능을 처리합니다.