RVC-Boss/GPT-SoVITS

해결하는 문제

GPT-SoVITS는 최소한의 데이터로 매우 현실적인 텍스트-to-음성(TTS) 및 음성 변환 시스템을 구축하도록 설계되었습니다. 특정 사람의 목소리를 클론하기 위해 막대한 데이터셋이 필요하다는 문제를 해결하여, 단지 수초의 음성 샘플만으로도 대상 화자와 유사한 음성을 생성할 수 있게 합니다.

작동 방식

이 프로젝트는 GPT와 SoVITS 아키텍처의 조합을 사용하여 음성 클론을 처리합니다. 주로 두 가지 주요 작동 모드를 제공합니다:

• 제로샷 TTS: 추가 학습 없이 5초의 보컬 샘플을 참조하여 음성을 생성.
• 피샷 TTS: 약 1분의 학습 데이터를 사용하여 모델을 미세 조정하여 음성 유사도와 현실감을 크게 향상.

다국어 추론을 지원하여, 훈련 데이터가 다른 언어일지라도 영어, 일본어, 한국어, 광둥어, 중국어에서 음성을 생성할 수 있습니다.

대상 사용자

전문 스튜디오 녹음 세션이나 수시간에 걸친 학습 데이터가 필요 없이 콘텐츠 제작이나 애플리케이션 개발을 위해 음성을 클론하고 싶은 크리에이터, 개발자, AI 애호가를 위한 도구입니다.

주요 특징

• 최소한의 데이터 요구사항: 5초(제로샷) 또는 1분(피샷)의 음성으로 음성 클론 가능.
• 다국어 지원: 영어, 일본어, 한국어, 광둥어, 중국어 등 다양한 언어를 지원.
• WebUI 지원: 음성 분할, 노이즈 제거, ASR(자동 음성 인식)을 통한 자막 생성, 모델 학습을 포함한 전체 파이프라인을 관리하는 포괄적인 WebUI 제공.
• Docker 지원: 다양한 하드웨어 환경에서 설치 및 배포를 간편하게 하는 Docker 이미지 제공.
• 고속 추론: 빠른 생성을 최적화하였으며, v2 ProPlus와 같은 특정 버전은 현대 GPU에서 매우 낮은 실시간 요인(RTF)을 보입니다.