buxuku/SmartSub

解决的问题

SmartSub 是一款开源桌面应用，将完整的音视频字幕和配音流水线整合到一个工具中：语音转文字、字幕翻译、校对、带声音克隆的 TTS 语音合成以及字幕烧录。它解决了处理外语视频、创建多语言内容、添加配音以及自动化视频制作的问题，无需在多个独立工具之间切换或将文件发送到云端。整个流水线可以使用本地模型完全免费离线运行。

工作原理

核心工作流程是：下载在线视频（来自 YouTube 或 Bilibili 等平台）或导入本地文件，使用本地 ASR 引擎（whisper.cpp、faster-whisper、FunASR、Qwen3-ASR、FireRedASR、NVIDIA Parakeet 等）将语音转录为字幕，通过内置免费服务或 20 多个云/LLM 提供商翻译字幕，在集成编辑器中校对和优化字幕，合成 TTS 配音（本地 Kokoro/VITS 语音、ZipVoice 零样本声音克隆，或 Edge TTS、Azure、ElevenLabs 等云服务），最后使用 ffmpeg 将字幕烧录到视频中（硬字幕或软字幕）。除了 GUI，SmartSub 还包含具有上下文感知、多模态截图诊断和直接工具调用的 AI 副驾驶，以及完整的 MCP 服务器和 CLI，暴露 111 个工具，使外部 AI 代理（Cursor、Claude Code、Codex）或 shell 脚本能够无头驱动整个流水线。本地处理将文件保留在设备上；云服务是可选的，并带有隐私确认。支持通过 CUDA、Vulkan 和 Apple Core ML/Metal 进行 GPU 加速。

适用人群

SmartSub 专为内容创作者、翻译人员、教育工作者、播客制作者、视频编辑者和开发者设计，他们需要为视频添加字幕或配音、翻译现有字幕、为国际受众重新调整内容，或自动化媒体工作流。它既适合想要友好 GUI 的非技术用户，也适合希望将其连接到 AI 代理或 CI/CD 脚本的开发者和 AI 爱好者。

亮点

• 一体化流水线：在一个应用中完成下载、转录、翻译、校对、带声音克隆的配音和字幕烧录
• 完全本地和免费路径：离线转录、内置免费翻译源、带声音克隆的本地 TTS、本地 ffmpeg——本地步骤无需 API 密钥或使用限制
• 具有深度上下文感知的 AI 副驾驶：理解当前播放、选中的字幕行、任务日志，并可以通过自然语言编辑字幕或排除故障
• 多模态截图诊断：捕获工作区，让视觉 LLM 分析错误弹窗和 UI 状态
• 代理自动化：111 个 MCP 工具和 CLI 命令让外部 AI 代理（Cursor、Claude Code、Codex）或终端脚本完全自动化生产流水线
• 广泛的模型支持：8 个 ASR 引擎、20 多个翻译服务、6 个 TTS 提供商，以及多个 LLM 端点（DeepSeek、Qwen、Gemini、OpenAI 兼容等）
• 注重隐私：本地处理、可选云、无遥测、不收集使用数据
• 跨平台（Windows、macOS、Linux），支持 GPU 加速，并提供一键安装程序 / Homebrew 支持