kleinlee/DH_live

해결하는 문제

DH_live는 GPU나 복잡한 학습 과정 없이도 모바일 브라우저와 저전력 장치에서 실시간으로 작동할 수 있는 고성능이고 초경량의 2D 디지털 인간 생성 솔루션을 제공합니다.

작동 방식

이 프로젝트는 동영상 생성 모델(DINet_mini), 음성 특징 모델(LSTM), 얼굴 검출/메시 모델로 구성된 전용 아키텍처를 사용하여 오디오 입력에 기반해 디지털 인간을 애니메이션화합니다. 비디오 데이터는 웹 클라이언트로 스트리밍할 수 있는 가벼운 형식으로 변환되며, 추론은 디바이스에서 직접 수행됩니다. 최근 업데이트에서는 MediaPipe와 같은 종속성 대신 배경 제거에 더 효율적인 마팅 알고리즘(matanyone2)으로 교체되었습니다.

대상 사용자

서버 측 GPU 렌더링의 부담 없이 웹사이트, 모바일 앱, 미니 프로그램에 실시간으로 상호작용 가능한 디지털 아바타를 통합하고자 하는 개발자 및 기업을 위한 것입니다.

주요 특징

• 극도로 낮은 컴퓨팅 요구 사항: 단일 프레임 추론에 최소 39 Mflops만 필요하며, 대부분의 모바일 얼굴 검출 알고리즘보다 빠릅니다.
• 학습 필요 없음: 복잡한 학습 과정 없이 오픈박스 형태로 즉시 사용 가능합니다.
• 매우 작은 크기: 웹 리소스를 3MB 미만으로 압축할 수 있습니다.
• 다중 플랫폼 지원: Windows, Linux, macOS, 모바일 브라우저(iOS/Android)에서 실행 가능합니다.
• 완전한 파이프라인 통합: VAD, ASR, LLM, TTS 및 디지털 인간 애니메이션을 포함한 완전한 실시간 대화 흐름을 제공합니다.