zeroweight-ai/ZeroTTS

해결하는 문제

ZeroTTS는 GPU 없이 일반 노트북에서도 텍스트에서 자연스러운 베트남어 음성을 쉽게 생성할 수 있게 합니다. 두 가지 일반적인 문제를 해결합니다: 베트남어를 올바르게 읽는 TTS(성조, 날짜, 숫자, 영어 혼용 단어 포함)를 얻는 것과, 생성하면서 오디오를 스트리밍할 수 있을 만큼 빠르게 하는 것입니다. 또한 짧은 음성 샘플을 제공하여 특정 음성을 사용할 수 있지만, 이 오픈소스 릴리스에서는 음성 복제 단계 자체가 플랫폼을 통해 수행됩니다. 패키지는 이미 획득한 음성만 로드할 수 있습니다.

작동 방식

ZeroTTS는 텍스트와 "음성 잠재 변수"(화자 음성의 작은 숫자 표현)를 입력받아 오디오를 생성하는 신경망을 사용합니다. 모델은 베트남어 음성으로 훈련되었으며 ONNX Runtime을 사용하여 CPU에서 실행되도록 최적화되어 실시간보다 빠르게 실행할 수 있습니다. 오디오를 작은 청크로 스트리밍하므로 첫 소리가 약 70ms 만에 도착합니다. 베트남어의 경우 날짜, 숫자, 약어를 구어로 확장하는 내장 텍스트 정규화 기능이 있지만, 영어 텍스트를 입력하는 경우 끌 수 있습니다.

패키지에는 8개의 사전 구축된 음성이 포함되어 있으며, 플랫폼에서 얻은 .npz 파일(또는 해당 파일의 zip)을 추가하여 자신만의 음성을 추가할 수 있습니다. 오디오에서 이러한 잠재 변수를 생성하는 음성 인코더는 게시되지 않았으므로 패키지 내에서 완전히 자신만의 음성을 훈련할 수는 없습니다.

대상 사용자

ZeroTTS는 챗봇, 콘텐츠 제작, 접근성 도구와 같은 애플리케이션에서 베트남어 TTS가 필요한 개발자와 취미 개발자를 대상으로 합니다. 클라우드 서비스나 GPU 없이 로컬에서 실행되는 TTS를 원하고 낮은 지연 시간과 정확성을 중시하는 경우 특히 유용합니다. 브라우저 데모는 완전히 클라이언트 측에서 실행될 수 있음을 보여줍니다.

주요 특징

• 최첨단 정확도: 벤치마크에서 차선의 오픈소스 베트남어 TTS보다 단어 오류가 약 4배 적습니다.
• CPU에서 실시간 성능: 실시간보다 약 2배 빠르며 첫 오디오 청크가 약 70ms에 도착합니다.
• 제로샷 음성 복제: 3~30초의 참조 오디오에서 음성을 복제할 수 있지만, 복제 도구 자체는 플랫폼을 통해서만 사용할 수 있습니다.
• 순수 Python 패키지로 의존성이 최소화됩니다(생성에 PyTorch 불필요).
• 날짜, 시간, 분수, 약어를 확장하는 베트남어 텍스트 정규화 기능이 포함되어 있습니다.
• 메모리 제한 CPU에서 합성 시간을 약 절반으로 줄이는 선택적 int8 양자화.
• 웹 UI 및 브라우저 데모 포함.