voice-pro:一站式 AI 配音工作室,支援 YouTube 處理、聲音克隆與多語言翻譯
voice-pro:一站式 AI 配音工作室,支援 YouTube 處理、聲音克隆與多語言翻譯
它解決了什麼問題
Voice-Pro 是一款一站式多媒體處理工具,旨在簡化製作多語言內容的複雜工作流程。它消除了在不同工具之間切換的需求,涵蓋影片下載、音訊分離、語音轉文字、文字翻譯以及產生新配音等全部步驟。
工作原理
此應用提供基於 Gradio 的網頁介面,整合了多個最先進的 AI 模型:
- 語音轉文字 (ASR): 使用 Whisper、Faster-Whisper 與 Whisper‑Timestamped,提供高精度的轉錄與字幕生成。
- 文字轉語音 (TTS): 採用 Edge‑TTS、kokoro 以及零樣本克隆模型如 F5‑TTS、E2‑TTS、CosyVoice,產生自然流暢的語音或克隆特定聲音。
- 翻譯: 整合 Deep‑Translator(可選 Azure Translator),支援超過 100 種語言。
- 音訊處理: 使用 Demucs 進行聲音分離,並以 yt‑dlp 取得 YouTube 內容。
目標使用者
此工具主要面向內容創作者、播客製作人、研究人員以及需要為影片配音、製作字幕或產生聲音克隆播客的多語言專業人士。
重點特色
- 完整配音流水線: 在同一工作室內整合 YouTube 下載、降噪、轉錄、翻譯與 TTS。
- 零樣本聲音克隆: 可使用 F5‑TTS、E2‑TTS、CosyVoice 在無需大量訓練的情況下克隆聲音。
- 多語言支援: 超過 100 種語言的語音辨識與翻譯功能。
- 即時能力: 支援即時語音辨識與即時翻譯。
- 使用者友善安裝: 使用
uv在 Windows 上快速、可重現安裝,並支援 NVIDIA GPU。
摘要
一款結合語音辨識、翻譯與多語言配音的 AI 網頁應用,將 ASR、TTS 與聲音克隆整合於單一工作流程中。
標題
voice-pro:一站式 AI 配音工作室,支援 YouTube 處理、聲音克隆與多語言翻譯
Sources
- undefinedabus-aikorea/voice-pro