pnnbao97/VieNeu-TTS

解决的问题

VieNeu-TTS 提供了一个专为越南语优化的、高保真且低延迟的文字转语音 (TTS) 系统。它解决了在消费级硬件（包括 CPU 和中端 GPU）上高效运行自然越南语语音合成的需求，同时支持即时语音克隆与实时流式传输。

运作原理

该项目采用了自定义架构 (v3 Turbo)，并在超过 10,000 小时的双语数据上进行训练。它使用了流匹配模型 (flow-matching model) 以及专门的音频标记器 (MOSS-Audio-Tokenizer-Nano) 和音素转换器 (sea-g2p)。在部署方面，它提供了多种后端：用于 GPU 加速的 PyTorch 引擎（结合 CUDA graphs 以实现最大吞吐量），以及用于 CPU 执行的无 torch 的 ONNX Runtime 路径。它还包含一个适用于边缘设备的 v3 Nano 版本，以牺牲部分音质为代价换取显著提升的速度。

适用对象

• 开发者：构建越南语 AI 代理、语音助手或无障碍工具。
• 内容创作者：需要为视频、播客或有声书制作自然越南语配音。
• 边缘计算工程师：在低功耗 ARM 开发板或旧笔记本电脑上部署 TTS。

特色亮点

• 极致性能：实时流式传输，首个音频输出约 115ms，在消费级 GPU 上的实时因子 (RTF) 低至 0.01–0.02。
• 即时语音克隆：能够从 3–8 秒的参考片段中克隆语音，并具备自动降噪功能。
• 与 OpenAI 兼容的 API：作为 OpenAI TTS 端点的直接替代品，与 Pipecat 和 LiveKit 等 SDK 兼容。
• 高保真度：支持 48 kHz 音频输出，并内置涵盖越南北部、中部和南部地区的 25 种预设语音。
• 实验性情绪提示：支持内嵌标签，如 [cười] (轻笑) 和 [thở dài] (叹气)，以增加非语言表达。