jamiepine/voicebox

解决的问题

Voicebox 是一个本地优先的 AI 语音工作室，为语音输入（语音转文字）和语音输出（文字转语音）提供统一接口。它允许用户在自己的机器上克隆语音、生成富有表现力的语音，并将文字听写到任何应用程序中，无需依赖 ElevenLabs 或 WisprFlow 等云端服务，确保完全隐私。

运作方式

该应用程序运行一套用于不同任务的本地 AI 模型：

• TTS 引擎：内置七种不同的文字转语音引擎（包括 Qwen3-TTS、Kokoro 和 HumeAI TADA），用于处理多语言克隆和富有表现力的语音。
• STT 引擎：使用 OpenAI Whisper 进行高精度的听写和录音转录。
• 本地 LLM：内置 Qwen3 LLM 用于优化听写（去除口吃）并驱动“语音个性”，将文字重写为符合特定角色的风格。
• 集成：提供 REST API 和 Model Context Protocol (MCP) 服务器，允许 AI 代理（如 Claude Code 或 Cursor）使用克隆的语音进行对话。
• 性能：使用 Tauri (Rust) 和 FastAPI (Python) 构建，支持 macOS (MLX/Metal)、Windows (CUDA/DirectML) 和 Linux (ROCm/CUDA) 的硬件加速。

目标用户

• 内容创作者：使用多轨时间轴编辑器制作播客、叙事或游戏对话的人。
• AI 代理开发者：希望通过 MCP 为其代理提供本地克隆语音的开发者。
• 无障碍用户：需要语音辅助或以克隆后的自身语音进行交流的人。
• 一般用户：任何想要寻找云端 TTS/STT 服务的私密本地替代方案的人。

特色亮点

• 零样本语音克隆：只需几秒钟的音频即可克隆任何语音。
• 全局听写：一个全系统热键，可将转录的文字直接粘贴到任何焦点文本字段中 (macOS)。
• 富有表现力的语音：通过 Chatterbox Turbo 支持诸如 [laugh] 或 [sigh] 等副语言标签。
• 代理语音输出：与支持 MCP 的代理集成，让它们能以特定的克隆语音说话。
• 多轨故事编辑器：用于编写复杂对话和叙事的时间轴。
• 后处理：内置音频效果，如音高偏移、混响和压缩。