debpalash/VoiceStudio
VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription & audiobook creation in 646 languages.
VoiceStudio – 开源语音克隆与语音生成桌面应用程序
它有什么功能(通俗易懂)
VoiceStudio 是一款桌面应用程序(使用 Electron 构建),让您可以在自己的电脑上处理合成语音。它捆绑了一个开箱即用的语音克隆引擎(默认是 k2-fsa 项目的 OmniVoice 模型),并为四项主要任务提供了图形界面:
| 任务 | 您看到/做的事情 | 典型用例 |
|---|---|---|
| 语音克隆 | 加载说话者的清晰录音,命名,输入您想说的文字,然后点击 Generate。 | 为旁白、配音或个人项目重新创建某人的声音(需经许可)。 |
| 语音设计 | 用自然语言描述声音(例如:“温暖、低沉、友好”),让引擎合成一个前所未有的新声音。 | 品牌专属语音虚拟形象或角色的快速原型设计。 |
| 视频配音 | 导入视频,对齐字幕,并生成与时间轴匹配的语音。 | 在不离开应用程序的情况下进行视频本地化或建立音频叠加。 |
| 听写 / 转录 / 有声书 | 悬浮小工具可捕捉语音输入;应用程序还可以将长文本批处理成有声书格式的文件。 | 将书面内容转化为语音媒体,或免持捕捉笔记。 |
用户界面还包含一个模型管理器,您可以在其中下载、安装和切换不同的语音模型(不同的语言、质量等级或开源后端)。所有处理都可以保留在设备上;同时提供可选的远程服务,以实现更快的推理速度,或供不希望在本地运行大型模型的用户使用。
谁可能需要它?
- 内容创作者:希望添加旁白、配音或多语言配音,而无需支付云端 TTS 服务费用的人。
- 开发者 / AI 代理:需要本地语音转文字或文字转语音端点的人;VoiceStudio 公开了本地 HTTP API 和 MCP (Message-Control-Protocol) 接口,用于与机器人或自动化工具集成。
- 研究人员或爱好者:在个人工作站上尝试语音克隆、语音设计或多语言语音合成的人。
- 小型团队:需要一个自托管、保护隐私的商业 SaaS TTS 平台替代方案的人。
如何开始使用(快速入门)
- 单行安装程序 – 在 macOS/Linux 上执行:
在 Windows 上使用 PowerShell:curl -fsSL https://voicestudio.sh/install | sh
该脚本会检测您的操作系统,下载适当的 Electron 二进制文件(irm https://voicestudio.sh/install | iex.dmg、.exe、.AppImage或.deb),验证 SHA-256 校验和,并安装应用程序。它还会保留任何现有的项目和模型文件。 - 可选的从源代码构建 – 如果您想要最新的代码或调整后端:
该存储库使用 Bun(一种快速的 JavaScript 运行环境)作为前端,并使用 Python 后端(通过小型 API 服务器)处理大型语音模型。git clone https://github.com/debpalash/VoiceStudio.git cd VoiceStudio bun install # JavaScript/TypeScript 依赖 bun run setup:api # 拉取 Python 依赖 (PyTorch, 模型代码) bun run dev # 在开发模式下启动 Electron UI - 选择模型 – 第一次尝试克隆或配音时,应用程序会提示您下载模型。模型存储在本地,可以从 Model Manager 面板进行切换。
- 开始工作流程 – 开启 Voice cloning 工作区,添加参考音频文件,输入文字,然后点击 Generate。
为什么它在技术上很有趣?
- 多引擎架构 – VoiceStudio 默认附带 OmniVoice,但可以加载任何兼容的开源 TTS/语音克隆引擎(例如 VITS、FastSpeech 等)。
docs/feature-catalog.md中的 引擎目录 列出了支持的后端及其语言覆盖范围(总共多达 646 种语言)。 - 硬件加速 – 在 NVIDIA GPU 上使用 CUDA;在 Apple Silicon 上利用 Metal (MPS)。当没有 GPU 时,会自动安装轻量级的仅 CPU PyTorch 构建版本(约 5 GB)。
- 本地 API 与 MCP – 除了 UI 之外,应用程序还运行一个小型 HTTP 服务器,公开
/synthesize、/clone和/list-models等端点。MCP 协议允许其他程序(例如聊天机器人)发送指令并接收音频流,从而实现** AI 代理集成**,而无需离开桌面。 - 可扩展的插件模型 – 开发者可以通过遵循
docs/engines/README.md中描述的engine接口来新增新引擎。这鼓励社区贡献小众语言模型或实验性语音设计技术。 - 负责任的使用保障 – 授权条款 (AGPL-3.0) 是开源的,但 README 强调克隆声音需要原始说话者的许可。模型管理器会显示来源信息,并链接到每个下载模型的授权审查。
何时(以及如何)使用它与云端服务的比较
| 方面 | VoiceStudio (本地) | 云端 TTS (例如 Azure, Google) |
|---|---|---|
| 隐私 | 所有音频都保留在您的机器上;除非您启用远程工作者,否则没有数据会离开设备。 | 数据会发送到提供者的服务器。 |
| 成本 | 模型的一次性下载(免费)+ 可选的付费“远程工作者”以加快推理速度。 | 按字符或按小时的使用费。 |
| 延迟 | GPU 加速推理可以接近实时;仅 CPU 较慢,但仍可用于批处理作业。 | 通常延迟较低,但网络往返会增加开销。 |
| 自定义 | 您可以加载自定义微调模型、设计全新声音并编辑模型参数。 | 仅限于提供者提供的预设声音。 |
| 可扩展性 | 仅限于单个工作站(或自托管服务器)的运算能力。 | 在云端自动扩展。 |
是谁构建的?
该项目由 debpalash (Palash Deb) 和贡献者维护。它是基于 AGPL-3.0 的开源项目,拥有公开的问题追踪器、CI (GitHub Actions) 以及用于支持的 Discord 社区。
以上所有信息均直接取自存储库的 README 和链接文档。
写过它的文章
相关
- 项目
- 项目
- 项目
- 项目
- 项目