SWivid/F5-TTS

해결하는 문제

F5-TTS는 자연스럽고 입력 텍스트에 충실한 음성 생성을 위한 텍스트-to-음성(TTS) 기술의 도전 과제를 해결합니다. 이 시스템은 입력 텍스트에 충실하면서도 자연스러운 고품질 음성을 생성할 수 있도록 하며, 이전 모델보다 훈련 및 추론 속도를 향상시킵니다.

작동 방식

F5-TTS는 Diffusion Transformer 아키텍처와 ConvNeXt V2를 결합하여 사용합니다. 음성 생성에는 '플로우 매칭(flow matching)' 기법을 적용합니다. 또한 추론 시 성능을 향상시키기 위해 설계된 'Sway Sampling'이라는 추론 시 플로우 단계 샘플링 전략도 포함되어 있습니다. E2 TTS 논문의 정확한 재현을 원하는 사용자를 위해, Flat-UNet Transformer를 사용한 E2 TTS 구현도 리포지토리에 제공됩니다.

대상 사용자

음성 합성에 종사하는 개발자 및 연구자, 그리고 텍스트에서 다중 스타일 또는 다중 스피커 음성을 생성하고자 하는 사용자에게 적합합니다. NVIDIA, AMD, Intel GPU, Apple Silicon을 포함한 다양한 하드웨어에서 실행 가능한 고성능 TTS 엔진이 필요하신 분들에게 적합합니다.

주요 특징

• 고성능: Diffusion Transformer와 ConvNeXt V2를 활용해 훈련 및 추론 속도를 최적화.
• 유연한 배포: 다양한 하드웨어 백엔드를 지원하며, 간편한 설정을 위한 Docker 이미지를 제공.
• 고급 샘플링: 추론 시 성능을 향상시키는 Sway Sampling 포함.
• 다양한 인터페이스: 음성 채팅 및 다중 스피커 생성을 지원하는 Gradio 웹 인터페이스와 자동화 작업을 위한 CLI 제공.
• 엔터프라이즈 대응: 저지연 생산 환경을 위한 Triton 및 TensorRT-LLM 기반 배포 솔루션 포함.