debpalash/VoiceStudio

VoiceStudio is the open-source, fully-local ElevenLabs alternative — voice cloning, voice design, video dubbing, dictation, transcription & audiobook creation in 646 languages.

VoiceStudio – 开源语音克隆与语音生成桌面应用程序

它有什么功能(通俗易懂)

VoiceStudio 是一款桌面应用程序(使用 Electron 构建),让您可以在自己的电脑上处理合成语音。它捆绑了一个开箱即用的语音克隆引擎(默认是 k2-fsa 项目的 OmniVoice 模型),并为四项主要任务提供了图形界面:

任务 您看到/做的事情 典型用例
语音克隆 加载说话者的清晰录音,命名,输入您想说的文字,然后点击 Generate。 为旁白、配音或个人项目重新创建某人的声音(需经许可)。
语音设计 用自然语言描述声音(例如:“温暖、低沉、友好”),让引擎合成一个前所未有的新声音。 品牌专属语音虚拟形象或角色的快速原型设计。
视频配音 导入视频,对齐字幕,并生成与时间轴匹配的语音。 在不离开应用程序的情况下进行视频本地化或建立音频叠加。
听写 / 转录 / 有声书 悬浮小工具可捕捉语音输入;应用程序还可以将长文本批处理成有声书格式的文件。 将书面内容转化为语音媒体,或免持捕捉笔记。

用户界面还包含一个模型管理器,您可以在其中下载、安装和切换不同的语音模型(不同的语言、质量等级或开源后端)。所有处理都可以保留在设备上;同时提供可选的远程服务,以实现更快的推理速度,或供不希望在本地运行大型模型的用户使用。

谁可能需要它?

  • 内容创作者:希望添加旁白、配音或多语言配音,而无需支付云端 TTS 服务费用的人。
  • 开发者 / AI 代理:需要本地语音转文字或文字转语音端点的人;VoiceStudio 公开了本地 HTTP API 和 MCP (Message-Control-Protocol) 接口,用于与机器人或自动化工具集成。
  • 研究人员或爱好者:在个人工作站上尝试语音克隆、语音设计或多语言语音合成的人。
  • 小型团队:需要一个自托管、保护隐私的商业 SaaS TTS 平台替代方案的人。

如何开始使用(快速入门)

  1. 单行安装程序 – 在 macOS/Linux 上执行:
    curl -fsSL https://voicestudio.sh/install | sh
    
    在 Windows 上使用 PowerShell:
    irm https://voicestudio.sh/install | iex
    
    该脚本会检测您的操作系统,下载适当的 Electron 二进制文件(.dmg、.exe、.AppImage 或 .deb),验证 SHA-256 校验和,并安装应用程序。它还会保留任何现有的项目和模型文件。
  2. 可选的从源代码构建 – 如果您想要最新的代码或调整后端:
    git clone https://github.com/debpalash/VoiceStudio.git
    cd VoiceStudio
    bun install               # JavaScript/TypeScript 依赖
    bun run setup:api         # 拉取 Python 依赖 (PyTorch, 模型代码)
    bun run dev               # 在开发模式下启动 Electron UI
    
    该存储库使用 Bun(一种快速的 JavaScript 运行环境)作为前端,并使用 Python 后端(通过小型 API 服务器)处理大型语音模型。
  3. 选择模型 – 第一次尝试克隆或配音时,应用程序会提示您下载模型。模型存储在本地,可以从 Model Manager 面板进行切换。
  4. 开始工作流程 – 开启 Voice cloning 工作区,添加参考音频文件,输入文字,然后点击 Generate。

为什么它在技术上很有趣?

  • 多引擎架构 – VoiceStudio 默认附带 OmniVoice,但可以加载任何兼容的开源 TTS/语音克隆引擎(例如 VITS、FastSpeech 等)。docs/feature-catalog.md 中的 引擎目录 列出了支持的后端及其语言覆盖范围(总共多达 646 种语言)。
  • 硬件加速 – 在 NVIDIA GPU 上使用 CUDA;在 Apple Silicon 上利用 Metal (MPS)。当没有 GPU 时,会自动安装轻量级的仅 CPU PyTorch 构建版本(约 5 GB)。
  • 本地 API 与 MCP – 除了 UI 之外,应用程序还运行一个小型 HTTP 服务器,公开 /synthesize、/clone 和 /list-models 等端点。MCP 协议允许其他程序(例如聊天机器人)发送指令并接收音频流,从而实现** AI 代理集成**,而无需离开桌面。
  • 可扩展的插件模型 – 开发者可以通过遵循 docs/engines/README.md 中描述的 engine 接口来新增新引擎。这鼓励社区贡献小众语言模型或实验性语音设计技术。
  • 负责任的使用保障 – 授权条款 (AGPL-3.0) 是开源的,但 README 强调克隆声音需要原始说话者的许可。模型管理器会显示来源信息,并链接到每个下载模型的授权审查。

何时(以及如何)使用它与云端服务的比较

方面 VoiceStudio (本地) 云端 TTS (例如 Azure, Google)
隐私 所有音频都保留在您的机器上;除非您启用远程工作者,否则没有数据会离开设备。 数据会发送到提供者的服务器。
成本 模型的一次性下载(免费)+ 可选的付费“远程工作者”以加快推理速度。 按字符或按小时的使用费。
延迟 GPU 加速推理可以接近实时;仅 CPU 较慢,但仍可用于批处理作业。 通常延迟较低,但网络往返会增加开销。
自定义 您可以加载自定义微调模型、设计全新声音并编辑模型参数。 仅限于提供者提供的预设声音。
可扩展性 仅限于单个工作站(或自托管服务器)的运算能力。 在云端自动扩展。

是谁构建的?

该项目由 debpalash (Palash Deb) 和贡献者维护。它是基于 AGPL-3.0 的开源项目,拥有公开的问题追踪器、CI (GitHub Actions) 以及用于支持的 Discord 社区。


以上所有信息均直接取自存储库的 README 和链接文档。

写过它的文章

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目