andimarafioti/faster-qwen3-tts

解决的问题

Faster Qwen3-TTS 解决了原始 Qwen3-TTS 模型的高延迟和慢速推理问题。它实现了实时、高质量的文本转语音生成，显著降低首次音频时间（TTFA）并提高实时因子（RTF），使其适用于交互式应用。

工作原理

此项目提供两个主要后端以进行优化推理：

• Torch 后端：在 NVIDIA CUDA 和 AMD ROCm 上利用 torch.cuda.CUDAGraph 来捕获和重放执行图，大幅减少开销。
• GGML 后端：一个实验性的 qwentts.cpp 运行时适配器，支持 CUDA、Apple Silicon Metal 和 AMD HIP，让更广泛的硬件（包括 Mac）能高效执行。

它支持流式输出，在生成期间使用带有 25 帧左侧上下文的滑动窗口来产生音频块，以防止边界伪影。它还实现了 ICL（上下文学习）音素伪影的修复，默认在参考音频后附加静音。

适用对象

• 开发者：构建实时 AI 语音代理或交互式 TTS 系统。
• 硬件爱好者：想在 NVIDIA GPU、AMD GPU 或 Apple Silicon Mac 上运行 Qwen3-TTS。
• 研究人员：比较 TTS 模型的推理优化技术。

亮点

• 大幅加速：在各种 GPU（例如 RTX 4090、H100）上实现高达 9.8 倍的 RTF 提升和 6.5 倍的 TTFA 降低。
• 灵活语音选项：支持语音克隆（ICL 和 x-vector）、预定义的 CustomVoice ID，以及基于指令的 VoiceDesign。
• 多平台支持：原生支持 CUDA、ROCm、Metal（Apple Silicon）和 GGML。
• 开发者工具：包含 OpenAI 兼容的 API 服务器、用于实时指标的简易 Web UI，以及用于快速生成的 CLI。