Edge0-AI/Audio8_TTS

해결 과제

Audio8 TTS는 제로샷 음성 복제가 가능한 작고 효율적인 모델을 제공합니다. 사용자는 특정 목소리로 모델을 미리 학습시킬 필요 없이, 짧은 오디오 샘플만으로 특정 목소리를 모방하여 텍스트로부터 자연스러운 음성을 생성할 수 있습니다.

작동 방식

이 프로젝트는 두 가지 주요 모델 제품군을 제공합니다. 고품질 다국어 음성 합성에 중점을 둔 0.6B 파라미터 모델과 극도의 휴대성과 CPU 기반 추론을 위해 설계된 0.1B 파라미터 모델입니다. 사용자는 텍스트 프롬프트를 입력하고, 선택적으로 참조 오디오 파일을 제공하여 대상 목소리를 복제할 수 있습니다. 이 시스템은 CUDA 지원 GPU에서의 표준 Python 추론뿐만 아니라, ONNX runtimes 및 SGLang Omni를 통한 최적화된 배포를 지원하여 확장 가능하고 API 호환이 가능한 서비스를 제공합니다.

대상 사용자

이 프로젝트는 모델 크기, 성능, 실시간 음성 복제 능력이 중요한 애플리케이션에 텍스트 음성 변환 기능을 통합해야 하는 개발자와 연구자를 위한 것입니다. 특히 다국어 지원이 필요하거나 제약이 있는 하드웨어에서 경량 배포가 필요한 경우에 매우 유용합니다.

주요 특징

• 제로샷 음성 복제: 짧은 참조 녹음만으로 대상 목소리의 음성을 생성합니다.
• 다국어 지원: 0.6B 모델은 영어, 중국어, 일본어, 독일어 등 23개 언어를 지원합니다.
• 유연한 배포: 고성능 GPU 추론부터 작은 설치 공간을 위한 CPU 최적화 ONNX runtimes까지 다양한 옵션을 제공합니다.
• 확장 가능한 서비스: SGLang Omni 지원을 포함하여 동적 배치 처리 및 OpenAI 호환 API와 같은 기능을 제공합니다.
• 파인튜닝 지원: 특정 요구 사항에 맞게 모델을 추가로 조정할 수 있는 지도 학습 파인튜닝 도구를 제공합니다.