wildminder/ComfyUI-VibeVoice

ComfyUI‑VibeVoice – 功能简介

ComfyUI‑VibeVoice 是一组自定义节点，将 Microsoft 的 VibeVoice 文本转语音（TTS）和自动语音识别（ASR）模型引入可视化编程环境 ComfyUI。安装后，这些节点会出现在 WMNodes/sound/tts 和 WMNodes/sound/asr 下，可以像任何其他图像生成节点一样拖入 ComfyUI 图表。

核心功能

功能	含义
长格式多说话人 TTS	单个音频文件中最多可说四种不同的声音。
语音克隆	可使用本地 .wav/.mp3 作为参考，让模型模仿该说话人的音色。
混合脚本	在同一脚本中混合克隆声音与重复使用已提供参考的说话人。
ASR	配套的 VibeVoice ASR 节点会从输入音频文件返回带时间戳的说话人片段。
量化权重	支持 GGUF、fp8、int8 和 4‑bit 量化（或原始 safetensors），以降低 VRAM 使用量。
注意力后端	可在 eager、sdpa、flash_attention_2 或 sage 之间选择，以平衡速度与兼容性。
VRAM 管理	模型会自动下载到 ComfyUI/models/tts/VibeVoice/，并通过 ComfyUI 内置的 VRAM 管理器加载。

可用模型（首次运行时下载）

模型	大小	使用场景
VibeVoice‑1.5B	3 GB	标准长格式 TTS（高质量）。
VibeVoice‑7B	17.4 GB	更高容量的 TTS，可产生更丰富的声音。
VibeVoice‑Realtime‑0.5B	1.5 GB	实时、单说话人生成（使用缓存的 .pt 语音提示）。
VibeVoice‑ASR‑HF	17.4 GB	带说话人时间戳的语音转文本。

典型工作流程

1. 添加节点 – VibeVoice TTS（或 VibeVoice ASR）。
2. 加载参考音频（可选）– 使用 Load Audio 节点并连接到 speaker_1_voice … speaker_4_voice 以克隆该说话人。若输入留空，则该说话人会重复使用已提供的参考。
3. 编写脚本 – 在 text 字段中使用以下任一格式：
   • [1] Hello… 或
   • Speaker 1: Hello…
4. 将图表加入队列 – 节点会返回单个 AUDIO 输出，包含整段对话。

实时模式（仅限单说话人）

• 选择 VibeVoice‑Realtime‑0.5B 检查点。
• 在 ComfyUI/models/tts/VibeVoice/voices/ 中提供语音预设 .pt 文件（例如 en‑Carter_man.pt）。
• 说话人参考输入会被忽略；模型会使用缓存的提示。
• 若输出被截断，可调整 cfg_scale（1.5‑1.8）和 max_new_tokens。

安装

• 通过 ComfyUI Manager – 搜索 ComfyUI‑VibeVoice 并安装。
• 手动 – 克隆到 ComfyUI/custom_nodes，运行 pip install -r requirements.txt，然后重启 ComfyUI。
• 可选附加项：
  • sageattention 以使用 sage 后端（提供 Windows wheels）。
  • bitsandbytes 以进行 4‑bit 量化。
  • ComfyUI-VibeVoice[audio-extra] 以获取额外音频工具。

扩展 / 加载外部权重

• Load VibeVoice Model 节点可指向本地 .gguf、.safetensors 或 .bin 文件，覆盖内置的 model_name。
• 侧车 JSON 文件（<weights>.config.json、<weights>.preprocessor.json、tokenizer.json）可让您提供自定义架构或分词器配置。
• 加载器会先在 CPU 上运行，然后将张量交给 ComfyUI 的 VRAM 管理器；量化格式会直接流式传输，避免额外的主机 RAM 副本。

限制与已知问题

• 实时模型仅限单说话人 – 说话人标签会被移除。
• 任何克隆声音至少需要一个参考音频；系统无法生成完全零样本的语音。
• 针对密集 BF16 检查点的实验性 DynamicVRAM 补丁尚未能降低主机 RAM 使用量（请参阅 README 的“Known defect”章节）。

---

简而言之： 如果您已经使用 ComfyUI 进行图像生成，并希望在不离开节点图环境的情况下添加高质量、多说话人的 TTS 或语音转文本，ComfyUI‑VibeVoice 提供了连接 Microsoft VibeVoice 模型的现成桥梁，处理下载、VRAM 分配和灵活的脚本格式。