jamiepine/voicebox

解決的問題

Voicebox 是一個本地優先的 AI 語音工作室，為語音輸入（語音轉文字）和語音輸出（文字轉語音）提供統一介面。它允許使用者在自己的機器上克隆語音、生成富有表現力的語音，並將文字聽寫到任何應用程式中，無需依賴 ElevenLabs 或 WisprFlow 等雲端服務，確保完全隱私。

運作方式

該應用程式運行一套用於不同任務的本地 AI 模型：

• TTS 引擎：內建七種不同的文字轉語音引擎（包括 Qwen3-TTS、Kokoro 和 HumeAI TADA），用於處理多語言克隆和富有表現力的語音。
• STT 引擎：使用 OpenAI Whisper 進行高精度的聽寫和錄音轉錄。
• 本地 LLM：內建 Qwen3 LLM 用於優化聽寫（去除口吃）並驅動「語音個性」，將文字重寫為符合特定角色的風格。
• 整合：提供 REST API 和 Model Context Protocol (MCP) 伺服器，允許 AI 代理（如 Claude Code 或 Cursor）使用克隆的語音進行對話。
• 效能：使用 Tauri (Rust) 和 FastAPI (Python) 建構，支援 macOS (MLX/Metal)、Windows (CUDA/DirectML) 和 Linux (ROCm/CUDA) 的硬體加速。

目標使用者

• 內容創作者：使用多軌時間軸編輯器製作播客、敘事或遊戲對話的人。
• AI 代理開發者：希望透過 MCP 為其代理提供本地克隆語音的開發者。
• 無障礙使用者：需要語音輔助或以克隆後的自身語音進行交流的人。
• 一般使用者：任何想要尋找雲端 TTS/STT 服務的私密本地替代方案的人。

特色亮點

• 零樣本語音克隆：只需幾秒鐘的音訊即可克隆任何語音。
• 全域聽寫：一個全系統熱鍵，可將轉錄的文字直接貼上到任何焦點文字欄位中 (macOS)。
• 富有表現力的語音：透過 Chatterbox Turbo 支援諸如 [laugh] 或 [sigh] 等副語言標籤。
• 代理語音輸出：與支援 MCP 的代理整合，讓它們能以特定的克隆語音說話。
• 多軌故事編輯器：用於編寫複雜對話和敘事的時間軸。
• 後製處理：內建音訊效果，如音高偏移、殘響和壓縮。