Tencent-Hunyuan/AuK

AuK – 用于语音生成与编辑的开源基础模型

它是什么

• 一个 1.5B 参数的基于扩散的模型，可以从文本生成语音，编辑现有音频，并执行增强或源分离——全部由自然语言指令驱动。
• 发布了两个检查点：
  • AuK（基础） – 高质量生成，可配置推理步骤。
  • AuK-Flash – 蒸馏的 4 步版本，用于快速、低延迟推理。

关键能力

类别	任务（自然语言提示）
语音生成	零样本 TTS（从参考复制声音），指令 TTS（仅描述声音）
内容编辑	替换/插入/删除口语单词，歌词重写
声学编辑	音高移位，速度变化，音量调整
副语言编辑	情感，音色，去口音，添加/移除呼吸/笑声，耳语 ↔ 正常语音
增强与分离	去噪，去混响，语音/音乐分离，目标说话人提取

所有任务共享一个 CLI/API，您传递一个 --instruction 字符串和可选的 --audio 参考。

如何开始

1. 克隆并设置 – git clone https://github.com/Tencent-Hunyuan/AuK && cd AuK 然后使用 uv 或 conda 创建 Python 3.10 环境（参见 README）。安装核心包或添加额外功能（[gradio]、[comfyui]、[train]）。
2. 下载权重 – 使用 huggingface_hub 或 modelscope CLI 拉取 tencent/AuK，可选地拉取 tencent/AuK-Flash 以及 Qwen2.5-Omni-3B 编码器。
3. 运行快速推理 – 例如：

   auk-infer \
     --audio assets/demo-input-audio/zero-shot-tts/ref.wav \
     --instruction "Say: 'Hello world' with the same voice" \
     --output out.wav \
     --gen_seconds 2.0
   

   相同的命令适用于编辑、增强等；只需更改指令。
4. 可选辅助工具 –
   • 提示增强器（src/auk/infer/pe.py）使用兼容 OpenAI 的 LLM 将自由形式的请求转换为可运行的 auk-infer 命令。
   • Gradio UI（auk-gradio）提供带有模型选择器、CPU 卸载和可选云 ASR 的 Web 界面。
   • ComfyUI 节点允许您在可视化工作流中嵌入 AuK。
   • 蒸馏管道（PR #22）允许您训练自己的 AuK-Flash。

性能与硬件

• 基础 AuK 需要约 24 GiB VRAM 进行 bf16 推理；启用 --cpu_offload 可将其降至约 16 GiB（约 32% 节省）。
• AuK-Flash 使用固定的 4 个扩散步骤（CFG = 0）运行，适用于实时使用。
• 支持 CUDA、Apple 芯片（MLX）以及通过 audio.cpp 进行离线 GGUF 推理。

社区与生态系统

• 与 vLLM-Omni 和 SGLang-Omni 集成，可在单个 H100 上进行服务。
• 用作 ICASSP 2027 音频编辑挑战赛的基线。
• HuggingFace 和 ModelScope 上的演示空间让您无需任何代码即可试用模型。

了解更多

• 项目网站：https://auk-project.github.io/
• 技术报告（arXiv）：https://arxiv.org/abs/2609.08936
• 完整指令手册：docs/COOKBOOK.md
• HuggingFace 和 ModelScope 上的模型卡，提供下载链接。

---

AuK 是一个真正的开源语音基础模型，为广泛的生成、编辑和增强任务提供统一的、指令驱动的接口。