voice-pro: 用于 YouTube 处理、声音克隆和多语言翻译的一站式 AI 配音工作室

它解决了什么问题

Voice-Pro 是一个一站式多媒体处理工具，旨在简化创建多语言内容的复杂工作流程。它消除了在下载视频、分离音频、语音转录、文本翻译和生成新配音之间频繁切换不同工具的需求。

工作原理

该应用程序提供了一个基于 Gradio 的 Web 界面，集成了多种最先进的 AI 模型：

• Speech-to-Text (ASR): 使用 Whisper, Faster-Whisper, 和 Whisper-Timestamped 进行高精度转录和字幕生成。
• Text-to-Speech (TTS): 采用 Edge-TTS, kokoro, 以及 F5-TTS, E2-TTS, 和 CosyVoice 等 zero-shot 克隆模型来生成自然流畅的语音或克隆特定声音。
• Translation: 集成了 Deep-Translator (以及可选的 Azure Translator) 以支持超过 100 种语言。
• Audio Processing: 使用 Demucs 进行人声分离，并使用 yt-dlp 进行 YouTube 内容提取。

适用人群

该工具主要面向内容创作者、播客制作人、研究人员以及需要为视频配音、制作字幕或制作声音克隆播客的多语言专业人士。

亮点

• 完整的配音流水线: 在一个工作室中集成了 YouTube 下载、降噪、转录、翻译和 TTS。
• Zero-Shot 声音克隆: 能够使用 F5-TTS, E2-TTS, 和 CosyVoice 在无需大量训练的情况下克隆声音。
• 多语言支持: 具备超过 100 种语言的语音识别和翻译能力。
• 实时能力: 支持即时语音识别和即时翻译。
• 用户友好的安装方式: 使用 uv 在 Windows 上进行快速、可重复的安装，并支持 NVIDIA GPU。