SmartSub: 一体化桌面工具，用于视频转录、翻译、AI 配音和字幕烧录

一个开源的桌面应用程序，可以自动化整个视频本地化工作流程，包括转录、翻译、AI 配音和字幕嵌入。

SmartSub: 一体化桌面工具，用于视频转录、翻译、AI 配音和字幕烧录

它解决了什么

SmartSub 提供一个完整的自动化流水线用于视频处理，解决了将语音转换为文本、翻译字幕和生成 AI 配音的碎片化工作流程。它允许用户将外语视频转换为带有同步配音和烧录字幕的本地化内容，而无需使用多个不相连的工具。

它是如何工作的

该应用程序作为多步骤流水线运行：它通过 yt-dlp/lux 下载视频，使用如 whisper.cpp 或 FunASR 等本地引擎转录音频，使用各种服务（包括通过 Ollama 的本地大型语言模型）翻译文本，并执行 TTS（文本转语音）进行配音。最后，它使用 FFmpeg 将字幕烧录到视频中，或将其复用为软字幕。

适用人群

• 内容创作者 旨在将视频本地化以面向国际观众。
• 语言学习者 需要外语讲座或视频的双语字幕。
• 播客/会议组织者 需要将音频批量转录为 SRT 文件。
• 注重隐私的用户 偏好在自己的硬件上本地运行转录和 TTS 模型。

主要特点

• 全流程： 包括下载、转录、翻译、校对、配音和视频合成。
• 本地优先隐私： 支持使用本地模型（Whisper、Kokoro、VITS）进行离线处理，以将文件保留在用户的机器上。
• 硬件加速： 支持 NVIDIA CUDA、AMD/Intel Vulkan 和 Apple Silicon（Core ML/Metal）。
• 广泛集成： 连接到 20+ 种翻译服务以及各种云端 ASR/TTS 提供商。
• 声音克隆： 提供基于本地或云端引擎的零样本声音克隆。