fishaudio/fish-speech

Fish Speech – 富有表现力的多语言文本转语音

它是什么 – 一个开源的语音合成系统，结合大型语言模型与神经 TTS（VITS 风格），以产生高品质、富有表现力、多说话者的音频。它提供两个旗舰模型：

• Drama 3（35 B 参数，每 token 活跃 3 B）– 最新模型，针对长篇、多角色场景、即时编辑和强烈情感细微差别进行优化。
• S2-Pro（4 B 参数）– 一个较小、较快的模型，仍支持多语言声音克隆、行内韵律标签和流式生成。

主要功能

• 自然语言控制 – 直接在脚本中嵌入如 [whisper]、[angry]、[pause] 等标签，以控制情感、韵律和时机。
• 声音克隆 – 10-30 秒的参考音频足以重现说话者的音色，跨语言克隆达到最先进的 CER/WER。
• 多说话者 / 场景生成 – 一次生成包含多个角色的完整对话或戏剧。
• 长篇流式 – 为数分钟的文字产生连续音频；Drama 3 甚至支持「导演修订」，您可以要求模型以新指令重新渲染片段。
• 本地编辑 / 填充 – 替换或插入单词，无需重新生成整个片段，保持音色连续性。

如何使用

• 安装 – 提供环境设置、权重下载和 Docker 部署的详细指南，位于 https://speech.fish.audio/install/。
• 推理 – 命令行工具、HTTP API 服务器和 Web UI 让您可以在本地合成语音或将其作为服务提供。
• LLM 代理 – 相同的安装步骤可由需要按需 TTS 的自主代理调用。

性能

• S2-Pro 在英文/中文 Seed-TTS 基准上达到低于 1% 的 WER，并在多个多语言和图灵测试指标上领先。
• Drama 3 在多语言克隆、自由形式编辑和多轮情感修订的新基准上优于 S2-Pro（详见技术报告 PDF）。

许可

• 代码和模型权重在 Fish Audio Community License 下发布；S2-Pro 权重带有 Fish Audio Research License。仓库警告禁止非法使用，并将执行许可。

资源

• Hugging Face 上的模型检查点：fishaudio/drama-3 和 fishaudio/s2-pro。
• 技术报告（PDF 和 arXiv）详细说明架构、训练配方和评估。
• 社区：Discord、Docker Hub 和 QQ 频道提供支持。

谁可能受益

• 开发需要富有表现力、可控语音的语音应用、游戏或虚拟助理的开发者。
• 研究大规模多语言 TTS 或循环编辑生成的研究人员。
• 想要生成多角色音频戏剧而无需录制每个声音的内容创作者。

---

以上所有信息直接取自仓库的 README；未推断任何额外功能。