samuel-vitorino/sopro

해결하는 문제

Sopro는 거대한 컴퓨팅 파워가 필요 없이 고품질의 음성 클론과 음성 합성을 제공하는 가벼우면서도 고성능의 음성 합성(TTS) 시스템입니다. 노트북 CPU나 웹 브라우저에서 직접 실행 가능한 효율적이고 디바이스 내에서의 음성 합성의 필요성을 충족시킵니다.

작동 방식

Sopro는 120M 파라미터 모델 패밀리(sopro-v2-turbo)를 사용하며, 짧은 참조 오디오 클립(5~20초)에서 제로샷 음성 클론을 지원합니다. 오프라인 경로(최고 품질)와 스트리밍 경로(저지연 음성 출력)의 두 가지 모드로 작동할 수 있습니다. 시스템은 영어, 유럽 포르투갈어, 프랑스어, 독일어를 지원하며, Python, CLI 또는 ONNX 런타임을 통해 배포 가능하며 브라우저 기반 실행도 가능합니다.

대상 사용자

소비자 하드웨어에서 로컬로 실행되거나 브라우저에서 작동하는 빠르고 가벼운 TTS 엔진이 필요한 개발자 및 크리에이터, 그리고 클라우드 기반 API 없이 작은 오디오 샘플에서 음성을 클론하고 싶은 사용자들입니다.

주요 특징

• 초경량: 단 120M 파라미터로 노트북 CPU와 브라우저 내에서 실행 가능.
• 제로샷 클론: 5~20초의 참조 오디오만으로 음성 클론 가능.
• 저지연: 스트리밍 시 노트북 CPU에서 약 300ms의 최초 오디오 도달 시간(time-to-first-audio) 달성.
• 다국어 지원: 영어, 유럽 포르투갈어, 프랑스어, 독일어 지원.
• 브라우저 호환: ONNX 런타임을 통해 완전히 기능하는 브라우저용 데모 제공.