heyncth/youtube-auto-dub

AI-powered YouTube video dubbing pipeline. Automatically transcribes (Whisper), translates (Google), and generates neural dubbing (Edge-TTS) with smart audio-video synchronization and background music preservation.

解决的问题

该工具自动化了YouTube视频的翻译、字幕和配音过程。它在本地处理整个流程,从下载视频到生成带有翻译音频和/或字幕的最终文件。

工作原理

该项目遵循七步自动化流程:下载视频,使用Whisper转录音频,将文本分割为自然片段,通过Google Translate翻译文本,使用TTS引擎(Edge或Qwen)生成语音,混合音频,最后使用FFmpeg渲染输出。

适用人群

它面向希望自动本地化YouTube内容,并且拥有安装了Python 3.10+和FFmpeg的计算机的用户。对于希望尝试不同声音、语言对或声音克隆功能的用户尤其有用。

亮点

  • 支持字幕生成和完整音频配音。
  • 包含声音克隆和角色选项,以生成自然语音。
  • 具有智能缓存功能,可在重新运行时跳过冗余步骤(如下载或转录)。
  • 允许在最终配音中保留背景音乐。
  • 通过浏览器cookie集成处理年龄限制内容。

相关

  • 项目
  • 项目
  • 项目
  • 项目