heyncth/youtube-auto-dub
AI-powered YouTube video dubbing pipeline. Automatically transcribes (Whisper), translates (Google), and generates neural dubbing (Edge-TTS) with smart audio-video synchronization and background music preservation.
解决的问题
该工具自动化了YouTube视频的翻译、字幕和配音过程。它在本地处理整个流程,从下载视频到生成带有翻译音频和/或字幕的最终文件。
工作原理
该项目遵循七步自动化流程:下载视频,使用Whisper转录音频,将文本分割为自然片段,通过Google Translate翻译文本,使用TTS引擎(Edge或Qwen)生成语音,混合音频,最后使用FFmpeg渲染输出。
适用人群
它面向希望自动本地化YouTube内容,并且拥有安装了Python 3.10+和FFmpeg的计算机的用户。对于希望尝试不同声音、语言对或声音克隆功能的用户尤其有用。
亮点
- 支持字幕生成和完整音频配音。
- 包含声音克隆和角色选项,以生成自然语音。
- 具有智能缓存功能,可在重新运行时跳过冗余步骤(如下载或转录)。
- 允许在最终配音中保留背景音乐。
- 通过浏览器cookie集成处理年龄限制内容。
相关
- 项目
- 项目
- 项目
- 项目