lipku/LiveTalking

해결하는 문제

LiveTalking은 디지털 휴먼을 위한 실시간 대화형 스트리밍 엔진입니다. 가상 아바타가 텍스트나 음성 입력을 기반으로 실시간으로 말할 수 있는 생생하고 동기화된 시청각 대화 인터페이스를 만드는 과제를 해결하여 AI 고객 서비스, 가상 라이브 스트리밍, 자동화된 교육 콘텐츠와 같은 애플리케이션을 가능하게 합니다.

작동 방식

시스템은 파이프라인을 따릅니다: 사용자 입력(텍스트/오디오) $\rightarrow$ LLM 응답 생성 $\rightarrow$ TTS 음성 합성 $\rightarrow$ 디지털 휴먼 립싱크 $\rightarrow$ 스트리밍 출력. Wav2Lip, MuseTalk, ER-NeRF와 같은 딥러닝 모델을 사용하여 오디오 특징(멜 스펙트로그램 등)과 일치하는 입술 움직임을 생성하고 이러한 움직임을 고화질 비디오에 혼합합니다.

대상 사용자

• 콘텐츠 제작자: 24/7 무인 라이브 스트리밍 및 대량 숏폼 비디오 제작용.
• 기업: AI 기반 고객 서비스 및 대화형 전시 디스플레이용.
• 교육자: 실시간 또는 녹화 강의를 위한 디지털 교사 클론 생성용.
• 개발자: 디지털 휴먼을 앱이나 스마트 스피커에 통합하기 위한 API 기반 프레임워크가 필요한 사람.

주요 기능

• 다중 모델 지원: ernerf, musetalk, wav2lip, Ultralight-Digital-Human과 호환됩니다.
• 유연한 출력: 저지연 브라우저 스트리밍을 위한 WebRTC, YouTube/Bilibili와 같은 플랫폼용 RTMP, 가상 카메라 출력을 지원합니다.
• 대화형 기능: 음성 복제, 말하는 중에 중단 가능, 사용자 지정 동작 오케스트레이션(무음 시 특정 비디오 재생)을 지원합니다.
• 확장 가능한 아키텍처: 사용자 지정 TTS, Avatar, Output 모듈을 추가하기 위한 분산 레지스트리 시스템을 갖추고 있습니다.