debpalash/VoiceStudio
VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription & audiobook creation in 646 languages.
VoiceStudio – 開源語音複製與語音生成桌面應用程式
它有什麼功能(通俗易懂)
VoiceStudio 是一款桌面應用程式(使用 Electron 構建),讓您可以在自己的電腦上處理合成語音。它捆綁了一個開箱即用的語音複製引擎(預設為 k2-fsa 專案的 OmniVoice 模型),並為四項主要任務提供了圖形介面:
| 任務 | 您看到/做的事情 | 典型用例 |
|---|---|---|
| 語音複製 | 載入說話者的清晰錄音,命名,輸入您想說的文字,然後點擊 Generate。 | 為旁白、配音或個人專案重新創建某人的聲音(需經許可)。 |
| 語音設計 | 用自然語言描述聲音(例如:“溫暖、低沉、友好”),讓引擎合成一個前所未有的新聲音。 | 品牌專屬語音虛擬形象或角色的快速原型設計。 |
| 影片配音 | 匯入影片,對齊字幕,並生成與時間軸匹配的語音。 | 在不離開應用程式的情況下進行影片在地化或建立音訊疊加。 |
| 聽寫 / 轉錄 / 有聲書 | 懸浮小工具可捕捉語音輸入;應用程式還可以將長文本批次處理成有聲書格式的檔案。 | 將書面內容轉化為語音媒體,或免持捕捉筆記。 |
使用者介面還包含一個模型管理器,您可以在其中下載、安裝和切換不同的語音模型(不同的語言、品質等級或開源後端)。所有處理都可以保留在裝置上;同時提供可選的遠端服務,以實現更快的推論速度,或供不希望在本地運行大型模型的用戶使用。
誰可能需要它?
- 內容創作者:希望添加旁白、配音或多語言配音,而無需支付雲端 TTS 服務費用的人。
- 開發者 / AI 代理:需要本地語音轉文字或文字轉語音端點的人;VoiceStudio 公開了本地 HTTP API 和 MCP (Message-Control-Protocol) 介面,用於與機器人或自動化工具整合。
- 研究人員或愛好者:在個人工作站上嘗試語音複製、語音設計或多語言語音合成的人。
- 小型團隊:需要一個自託管、保護隱私的商業 SaaS TTS 平台替代方案的人。
如何開始使用(快速入門)
- 單行安裝程式 – 在 macOS/Linux 上執行:
在 Windows 上使用 PowerShell:curl -fsSL https://voicestudio.sh/install | sh
該腳本會偵測您的作業系統,下載適當的 Electron 二進位檔案(irm https://voicestudio.sh/install | iex.dmg、.exe、.AppImage或.deb),驗證 SHA-256 校驗和,並安裝應用程式。它還會保留任何現有的專案和模型檔案。 - 可選的從原始碼建置 – 如果您想要最新的程式碼或調整後端:
該儲存庫使用 Bun(一種快速的 JavaScript 執行環境)作為前端,並使用 Python 後端(透過小型 API 伺服器)處理大型語音模型。git clone https://github.com/debpalash/VoiceStudio.git cd VoiceStudio bun install # JavaScript/TypeScript 依賴 bun run setup:api # 拉取 Python 依賴 (PyTorch, 模型程式碼) bun run dev # 在開發模式下啟動 Electron UI - 選擇模型 – 第一次嘗試複製或配音時,應用程式會提示您下載模型。模型儲存在本地,可以從 Model Manager 面板進行切換。
- 開始工作流程 – 開啟 Voice cloning 工作區,新增參考音訊檔案,輸入文字,然後點擊 Generate。
為什麼它在技術上很有趣?
- 多引擎架構 – VoiceStudio 預設附帶 OmniVoice,但可以載入任何相容的開源 TTS/語音複製引擎(例如 VITS、FastSpeech 等)。
docs/feature-catalog.md中的 引擎目錄 列出了支援的後端及其語言覆蓋範圍(總共多達 646 種語言)。 - 硬體加速 – 在 NVIDIA GPU 上使用 CUDA;在 Apple Silicon 上利用 Metal (MPS)。當沒有 GPU 時,會自動安裝輕量級的僅 CPU PyTorch 建置版本(約 5 GB)。
- 本地 API 與 MCP – 除了 UI 之外,應用程式還運行一個小型 HTTP 伺服器,公開
/synthesize、/clone和/list-models等端點。MCP 協定允許其他程序(例如聊天機器人)發送指令並接收音訊串流,從而實現** AI 代理整合**,而無需離開桌面。 - 可擴充的插件模型 – 開發者可以透過遵循
docs/engines/README.md中描述的engine介面來新增新引擎。這鼓勵社群貢獻小眾語言模型或實驗性語音設計技術。 - 負責任的使用保障 – 授權條款 (AGPL-3.0) 是開源的,但 README 強調複製聲音需要原始說話者的許可。模型管理器會顯示來源資訊,並連結到每個下載模型的授權審查。
何時(以及如何)使用它與雲端服務的比較
| 方面 | VoiceStudio (本地) | 雲端 TTS (例如 Azure, Google) |
|---|---|---|
| 隱私 | 所有音訊都保留在您的機器上;除非您啟用遠端工作者,否則沒有資料會離開裝置。 | 資料會發送到提供者的伺服器。 |
| 成本 | 模型的一次性下載(免費)+ 可選的付費“遠端工作者”以加快推論速度。 | 按字元或按小時的使用費。 |
| 延遲 | GPU 加速推論可以接近即時;僅 CPU 較慢,但仍可用於批次作業。 | 通常延遲較低,但網路往返會增加開銷。 |
| 自訂 | 您可以載入自訂微調模型、設計全新聲音並編輯模型參數。 | 僅限於提供者提供的預設聲音。 |
| 可擴充性 | 僅限於單個工作站(或自託管伺服器)的運算能力。 | 在雲端自動擴充。 |
是誰構建的?
該專案由 debpalash (Palash Deb) 和貢獻者維護。它是基於 AGPL-3.0 的開源專案,擁有公開的問題追蹤器、CI (GitHub Actions) 以及用於支援的 Discord 社群。
以上所有資訊均直接取自儲存庫的 README 和連結文件。
寫過它的文章
相關
- 專案
- 專案
- 專案
- 專案
- 專案