andimarafioti/faster-qwen3-tts

해결하는 문제

Faster Qwen3-TTS는 원래 Qwen3-TTS 모델의 높은 지연 시간과 느린 추론 속도를 해결합니다. 실시간 고품질 텍스트 음성 변환 생성을 가능하게 하여 첫 오디오 시간(TTFA)을 크게 줄이고 실시간 계수(RTF)를 높여 대화형 애플리케이션에 적합합니다.

작동 방식

이 프로젝트는 최적화된 추론을 위한 두 가지 주요 백엔드를 제공합니다:

• Torch 백엔드: NVIDIA CUDA 및 AMD ROCm에서 torch.cuda.CUDAGraph를 활용하여 실행 그래프를 캡처하고 재생하여 오버헤드를 크게 줄입니다.
• GGML 백엔드: qwentts.cpp 런타임용 실험적 어댑터로, CUDA, Apple Silicon Metal, AMD HIP를 지원하여 Mac을 포함한 더 넓은 하드웨어에서 효율적인 실행을 가능하게 합니다.

스트리밍 출력을 지원하며, 생성 중 25프레임 왼쪽 컨텍스트를 가진 슬라이딩 윈도우를 사용하여 오디오 청크를 생성하여 경계 아티팩트를 방지합니다. 또한 ICL(인컨텍스트 러닝) 음소 아티팩트에 대한 수정을 구현하여 기본적으로 참조 오디오에 무음을 추가합니다.

대상 사용자

• 개발자: 실시간 AI 음성 에이전트 또는 대화형 TTS 시스템을 구축하는 분.
• 하드웨어 애호가: NVIDIA GPU, AMD GPU 또는 Apple Silicon Mac에서 Qwen3-TTS를 실행하려는 분.
• 연구자: TTS 모델의 추론 최적화 기술을 비교하는 분.

주요 특징

• 대폭적인 속도 향상: 다양한 GPU(예: RTX 4090, H100)에서 최대 9.8배 RTF 향상 및 6.5배 TTFA 감소를 달성.
• 유연한 음성 옵션: 음성 복제(ICL 및 x-vector), 사전 정의된 CustomVoice ID, 지시 기반 VoiceDesign을 지원.
• 멀티 플랫폼 지원: CUDA, ROCm, Metal(Apple Silicon), GGML을 기본 지원.
• 개발자 도구: OpenAI 호환 API 서버, 실시간 메트릭용 최소 웹 UI, 빠른 생성을 위한 CLI 포함.