High-Logic/Genie-TTS

해결하는 문제

GENIE는 고품질 음성 합성(TTS)을 빠르고 효율적으로 만들어주는 경량 추론 엔진으로, 특히 CPU 성능을 목표로 설계되었습니다. 원래 GPT-SoVITS 프로젝트의 무거운 종속성을 제거하여 강력한 GPU 없이도 거의 즉각적인 오디오 생성을 가능하게 합니다.

작동 방식

GPT-SoVITS V2 및 V2ProPlus 모델을 기반으로 구축되며, 이를 최적화된 ONNX 형식으로 변환합니다. 이를 통해 공식 PyTorch 및 ONNX 구현과 비교하여 런타임 크기와 첫 번째 추론 지연 시간을 줄입니다. 또한 캐릭터 음성 로드, 감정 복제를 위한 참조 오디오 설정 및 합성 실행을 위한 간소화된 Python API를 제공합니다.

대상 사용자

대규모 ML 프레임워크의 오버헤드나 전용 GPU 하드웨어 없이 고품질의 다국어 TTS를 애플리케이션에 통합하려는 개발자 및 사용자.

주요 기능

• CPU 최적화: 공식 모델에 비해 첫 번째 추론 지연 시간이 크게 줄어들고 런타임 메모리 공간이 더 작습니다.
• 다국어 지원: 일본어, 영어, 중국어 및 한국어를 지원합니다.
• ** uma API**: 간단한 pip install과 몇 줄의 코드만으로 사전 정의되거나 사용자 정의된 캐릭터에서 음성을 생성할 수 있습니다.
• 모델 변환: 원래 .pth 및 .ckpt GPT-SoVITS 모델을 최적화된 ONNX 형식으로 변환하는 기본 제공 도구가 포함되어 있습니다.
• API 서버: 웹 서비스로 쉽게 배포할 수 있는 기본 제공 FastAPI 서버가 제공됩니다.