voice-pro:一站式 AI 配音工作室,支援 YouTube 處理、聲音克隆與多語言翻譯

voice-pro:一站式 AI 配音工作室,支援 YouTube 處理、聲音克隆與多語言翻譯

它解決了什麼問題

Voice-Pro 是一款一站式多媒體處理工具,旨在簡化製作多語言內容的複雜工作流程。它消除了在不同工具之間切換的需求,涵蓋影片下載、音訊分離、語音轉文字、文字翻譯以及產生新配音等全部步驟。

工作原理

此應用提供基於 Gradio 的網頁介面,整合了多個最先進的 AI 模型:

  • 語音轉文字 (ASR): 使用 Whisper、Faster-Whisper 與 Whisper‑Timestamped,提供高精度的轉錄與字幕生成。
  • 文字轉語音 (TTS): 採用 Edge‑TTS、kokoro 以及零樣本克隆模型如 F5‑TTS、E2‑TTS、CosyVoice,產生自然流暢的語音或克隆特定聲音。
  • 翻譯: 整合 Deep‑Translator(可選 Azure Translator),支援超過 100 種語言。
  • 音訊處理: 使用 Demucs 進行聲音分離,並以 yt‑dlp 取得 YouTube 內容。

目標使用者

此工具主要面向內容創作者、播客製作人、研究人員以及需要為影片配音、製作字幕或產生聲音克隆播客的多語言專業人士。

重點特色

  • 完整配音流水線: 在同一工作室內整合 YouTube 下載、降噪、轉錄、翻譯與 TTS。
  • 零樣本聲音克隆: 可使用 F5‑TTS、E2‑TTS、CosyVoice 在無需大量訓練的情況下克隆聲音。
  • 多語言支援: 超過 100 種語言的語音辨識與翻譯功能。
  • 即時能力: 支援即時語音辨識與即時翻譯。
  • 使用者友善安裝: 使用 uv 在 Windows 上快速、可重現安裝,並支援 NVIDIA GPU。

摘要

一款結合語音辨識、翻譯與多語言配音的 AI 網頁應用,將 ASR、TTS 與聲音克隆整合於單一工作流程中。

標題

voice-pro:一站式 AI 配音工作室,支援 YouTube 處理、聲音克隆與多語言翻譯

Sources