samuel-vitorino/sopro
A lightweight text-to-speech model with zero-shot voice cloning
解决的问题
Sopro 是一个轻量级、高性能的文本转语音(TTS)系统,旨在无需大量计算资源即可提供高质量的语音克隆和语音合成。它解决了对高效、本地化合成的需求,可在笔记本电脑 CPU 或直接在网页浏览器中运行。
工作原理
Sopro 使用一个 120M 参数的模型家族(特别是 sopro-v2-turbo),支持从一段短参考音频(5-20 秒)中实现零样本语音克隆。它可以在两种模式下运行:一种是用于最高音质的离线路径,另一种是用于低延迟音频输出的流式路径。该系统支持英语、欧洲葡萄牙语、法语和德语,并可通过 Python、CLI 或 ONNX 运行时部署,实现在浏览器中的执行。
适用人群
需要在消费级硬件上本地运行或在浏览器中运行的快速、轻量级 TTS 引擎的开发者和创作者,以及希望仅用少量音频样本克隆语音而无需依赖云 API 的用户。
主要亮点
- 超轻量级:仅 120M 参数,可在笔记本电脑 CPU 和浏览器中运行。
- 零样本克隆:仅需 5-20 秒的参考音频即可克隆语音。
- 低延迟:在笔记本电脑 CPU 上流式传输时,首次音频输出时间(time-to-first-audio)约为 300ms。
- 多语言支持:支持英语、欧洲葡萄牙语、法语和德语。
- 浏览器就绪:通过 ONNX 运行时提供完全功能的浏览器演示。
相关
- 项目
- 项目
- 项目
- 项目
- 项目