从文本和参考声音生成音频：当前格局与可用模型

尚无完全商业化的文本加参考音频模型

目前还没有广泛可用的、生产级的模型，能够接受参考声音和文本指令并输出新的、匹配的音频片段。现有的商业服务如 ElevenLabs 专注于纯文本转语音，而研究原型要么质量较差，要么需要复杂的变通方法。

语音克隆系统提供部分解决方案

语音克隆模型可以摄入短音频样本和文本提示，生成模仿参考语音的语音。例如，Qwen-3 TTS 包含一个“克隆”功能，可以使用提供的语音样本的音色读取任意文本。用户报告称，在个性化有声书方面效果令人满意，但输出仅限于口语，而非任意音效。

“我用 QWEN3 TTS 克隆功能为我母亲制作了一本定制有声书。效果相当不错。” – @jajazheng

研究原型瞄准音频生成

几个开源项目旨在生成基于文本和/或参考嵌入的音频：

• AudioLDM / AudioLDM-2 和 AudioX 是基于扩散的模型，可以从文本描述合成音频。它们仍处于实验阶段，通常产生低保真度的结果，尤其是对于非音乐音效。

  “显然 AudioX 和 AudioLDM(2) 模型可以做到这一点，但我认为你发现了一个真正的空白。” – @chr15m

• Stable Audio 3 声称支持文本加参考生成，但早期用户报告音频质量极差，表明该技术尚未准备好投入生产。

• Suno/Lyria 是音乐生成模型，可以通过在生成后隔离所需元素来重新用于音效合成，尽管它们主要针对音乐数据进行训练。

  “尽管它们在技术上是为音乐训练的，但可能值得测试 Suno/Lyria，看看它们是否能做到这一点。” – @moonu

基于嵌入的检索和条件生成

像 CLAP（对比语言-音频预训练）这样的项目生成音频嵌入，类似于 CLIP 对图像的处理。虽然 CLAP 不直接合成音频，但其嵌入可用于基于文本查询检索或排序现有声音库，作为更大流程中的潜在组件。

“CLAP 生成音频嵌入——就像 CLIP 对视觉输入所做的那样。” – @bobosha

使用频谱图操作的间接工作流

一种创造性的变通方法是将音频视为图像：将参考音频转换为频谱图，将频谱图和文本提示输入图像生成模型（例如，Stable Diffusion），然后将修改后的频谱图反转回波形。这种方法尚未大规模测试，可能会引入伪影，但它展示了如何将现有的图像模型重新用于音频任务。

“图像模型在处理频谱图图像方面有多好？将输入音频转换为频谱图 → 将频谱图 + 提示传递给图像模型 → 转换回音频波形。” – @xg15

用于程序化合成的代码生成

另一个角度是生成合成声音的代码（例如，使用 SuperCollider 或 Faust）。虽然不是直接的文本加参考模型，但 AI 生成的代码结合领域特定知识可以产生自定义音效。

“你应该考虑使用 AI 生成合成声音的代码。” – @soundworlds

新兴平台和服务

• Daydream Music 提供实时引擎，并与音频工具集成；然而，它专注于音乐创作，而非任意音效生成。

  “Daydream Music – DEMON 实时引擎是开源的。托管服务与许多流行音频工具集成。” – @jallmann

格局总结

• 目前没有交钥匙商业产品完全满足 文本 + 参考音频 → 新音频 的确切用例。
• 语音克隆工具（例如，Qwen-3 TTS）可以模仿参考语音，但仅限于语音。
• 研究扩散模型（AudioLDM、AudioX）提供了实验性能力，但保真度有限。
• 嵌入模型（CLAP）支持检索，但不支持合成。
• 频谱图-图像流程和代码生成是有前景的研究方向，但需要大量的工程工作。

底线： 该领域仍处于早期阶段，类似于 2016 年左右的图像生成。从业者必须结合现有的语音克隆、扩散原型或创造性变通方法，以近似所需功能，直到成熟、商业化的解决方案出现。