Phonon TTS 发布：高质量端侧语音合成

概述

Phonon 是一款紧凑型端侧文本转语音 (TTS) 模型，旨在无需服务器往返或网络连接即可运行。通过利用源自 Pocket TTS 系列的流匹配 (flow matching) 技术，Phonon 在极小的内存占用下实现了高质量的音频合成，使其非常适合部署在移动设备、笔记本电脑和 Web 浏览器上。

技术架构与能力

Phonon 提供两种主要规格：65 MB 和 75 MB。这些模型支持五种语言：英语、法语、德语、西班牙语和葡萄牙语。

  • 推理效率： 该模型针对速度进行了优化，在 Hugging Face Open TTS 排行榜的 CPU 流式传输类别中名列前茅，特别是在首个音频生成时间 (TTFA) 指标上表现突出。其 31m 版本实现了 28 毫秒的 TTFA，40m 版本则为 38 毫秒。
  • 推理框架： 团队开发了 ptts，这是一个专用的推理框架，支持超过 10 种后端，包括 CPU (Intel, Arm, WebAssembly)、GPU (CUDA, Vulkan, Metal, WebGPU) 和 NPU (Apple Core ML, Snapdragon)。
  • Transformers 集成： Phonon 已集成到 Hugging Face Transformers (v5.21 及更高版本) 中。它采用模块化设计，模型以自回归方式处理音频潜变量。音频编解码器充当分词器，语音以说话人潜变量张量的形式表示，而非原始音频录音。

许可与可访问性

  • Phonon 31m： 采用 Apache 2.0 许可，允许在商业产品中免费使用。
  • Phonon 40m： 采用 CC BY-NC 许可，旨在用于非商业项目。
  • 部署： 这些模型支持通过 Gradium Studio 进行语音克隆和自定义语音设计，使开发者能够将个性化语音集成到本地应用程序中。

性能与基准测试

Phonon 已在 Hugging Face Open TTS 排行榜上进行了评估，该榜单从可懂度 (词错误率)、速度 (逆实时因子和 TTFA) 以及自然度 (UTMOS/KOMOS) 三个维度对模型进行评估。

  • 可懂度： Phonon 在德语和西班牙语中排名第一，并在所有评估语言中保持前三名的位置，与体积大得多的模型相比具有极强的竞争力。
  • 速度： 它目前在首个音频生成时间的 CPU 流式传输基准测试中处于领先地位，证明了其适用于实时、低延迟应用。

在 Transformers 中的实现

开发者可以通过利用 GradiumPhononTTSForConditionalGeneration 类在 Transformers 生态系统中使用 Phonon。该模型使用聊天模板格式，其中音频提示作为张量注入。

from transformers import AutoProcessor, GradiumPhononTTSForConditionalGeneration

model_id = "gradium/phonon-31m-en"
processor = AutoProcessor.from_pretrained(model_id, device_map="auto")
model = GradiumPhononTTSForConditionalGeneration.from_pretrained(model_id, device_map="auto")

# The processor handles audio tokenization and chat template formatting
inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    return_dict=True,
    add_generation_prompt=True,
    processor_kwargs={"audio_prompt_latents": [voice]},
).to(model.device)

outputs = model.generate(**inputs)
audio = processor.decode(outputs.audio_latents, outputs.audio_latents_mask)

此实现支持批量生成和完整的 torch.compile 图支持，从而促进了大规模语音数据集的合成。

Sources