buxuku/SmartSub
视频转字幕、字幕翻译、AI 配音与声音克隆、字幕烧录——免费开源的一站式桌面工具。基于 Whisper / FunASR 等本地模型离线语音转文字,批量处理 + 全平台 GPU 加速,跨 Windows / macOS / Linux。Free, open-source desktop app to generate, translate, dub & burn video subtitles — local Whisper speech-to-text, AI dubbing & voice cloning, offline, GPU-accelerated.
解決的問題
SmartSub 為影片處理提供了一套完整的自動化流水線,解決了語音轉文字、字幕翻譯和生成 AI 配音等碎片化工作流的問題。它使用戶無需使用多個互不關聯的工具,即可將外語影片轉換為帶有同步配音和內嵌字幕的在地化內容。
工作原理
該應用程式作為一個多步驟流水線運行:它下載影片(透過 yt-dlp/lux),使用本地引擎(如 whisper.cpp 或 FunASR)進行音訊轉錄,使用各種服務(包括透過 Ollama 使用本地 LLM)進行文本翻譯,並執行 TTS(文字轉語音)進行配音。最後,它使用 FFmpeg 將字幕壓制到影片中或將其作為軟字幕封裝。
適用人群
- 內容創作者:希望為國際觀眾實現影片在地化的創作者。
- 語言學習者:需要外語講座或影片雙語字幕的學習者。
- 播客/會議組織者:需要將音訊批量轉錄為 SRT 文件的組織者。
- 注重隱私的使用者:希望在自己的硬體上本地執行轉錄和 TTS 模型的使用者。
亮點
- 全流程覆蓋:涵蓋下載、轉錄、翻譯、校對、配音和影片合成。
- 本地優先的隱私保護:支持使用本地模型(Whisper, Kokoro, VITS)進行離線處理,確保檔案保留在使用者機器上。
- 硬體加速:支持 NVIDIA CUDA、AMD/Intel Vulkan 和 Apple Silicon (Core ML/Metal)。
- 廣泛的整合:連接 20 多種翻譯服務和各種雲端 ASR/TTS 提供商。
- 聲音克隆:具備使用本地或雲端引擎的零樣本(zero-shot)聲音克隆功能。