Huanshere/VideoLingo

解决的问题

VideoLingo 简化了视频翻译和配音的复杂流程。它在单一界面内自动化了下载视频、语音转录、使用 AI 翻译文本、确保可读性的字幕分段，以及生成配音音频的完整工作流。

如何工作

该工具使用一系列专用的 AI 模型和服务构成的流水线：

• 转录： 使用 WhisperX 进行单词级语音识别与对齐。
• 翻译： 通过 OpenAI 兼容 API 调用 LLM，利用自定义术语和反思机制，确保自然重写。
• 字幕管理： 应用 NLP 和 AI 驱动的分段技术，确保字幕符合长度限制并逻辑分割。
• 配音： 集成多种文本转语音（TTS）服务，包括 GPT-SoVITS、Azure、OpenAI 和 Edge TTS，以生成配音。
• 界面： 提供基于 Streamlit 的 UI，支持任务控制（暂停/恢复）和模型选择。

适用人群

希望将外语视频翻译成自己语言，并配有高质量字幕和可选配音音频的内容创作者和用户。

主要亮点

• 端到端工作流： 在一个应用中整合 YouTube 下载、转录、翻译和配音。
• AI 驱动的分段： 使用 NLP 确保字幕按自然语义而非仅按时间分段。
• 术语控制： 支持自定义和 AI 生成的术语，确保视频中的一致性。
• 灵活的 TTS 选项： 支持广泛的配音引擎，包括本地的 GPT-SoVITS 和云 API。
• 进度恢复： 详细的日志记录允许用户从中断处继续任务。