buxuku/SmartSub

视频转字幕、字幕翻译、AI 配音与声音克隆、字幕烧录——免费开源的一站式桌面工具。基于 Whisper / FunASR 等本地模型离线语音转文字，批量处理 + 全平台 GPU 加速，跨 Windows / macOS / Linux。Free, open-source desktop app to generate, translate, dub & burn video subtitles — local Whisper speech-to-text, AI dubbing & voice cloning, offline, GPU-accelerated.

해결하는 문제

SmartSub는 음성을 텍스트로 변환하고, 자막을 번역하며, AI 음성을 생성하는 파편화된 워크플로우를 해결하여 비디오 처리를 위한 완전한 자동화 파이프라인을 제공합니다. 사용자는 여러 개의 분리된 도구 없이도 외국어 비디오를 동기화된 더빙과 자막이 포함된 현지화된 콘텐츠로 변환할 수 있습니다.

작동 방식

이 애플리케이션은 다단계 파이프라인으로 작동합니다. 영상을 다운로드하고(yt-dlp/lux 경유), whisper.cpp 또는 FunASR와 같은 로컬 엔진을 사용하여 오디오를 전사하며, 다양한 서비스(Ollama를 통한 로컬 LLM 포함)를 사용하여 텍스트를 번역하고, 더빙을 위한 TTS(Text-to-Speech)를 수행합니다. 마지막으로 FFmpeg를 사용하여 자막을 비디오에 입히거나 소프트 자막으로 합성합니다.

대상 사용자

콘텐츠 크리에이터: 해외 시청자를 위해 비디오를 현지화하려는 분.
언어 학습자: 외국어 강의나 비디오에 이중 언어 자막이 필요한 분.
팟캐스트/회의 주최자: 오디오를 SRT 파일로 일괄 전사해야 하는 분.
개인정보 보호 중시 사용자: 전사 및 TTS 모델을 자신의 하드웨어에서 로컬로 실행하는 것을 선호하는 분.

주요 특징

전체 파이프라인: 다운로드, 전사, 번역, 교정, 더빙 및 비디오 합성을 모두 지원합니다.
로컬 우선 프라이버시: 로컬 모델(Whisper, Kokoro, VITS)을 사용한 오프라인 처리를 지원하여 파일을 사용자 기기에 안전하게 유지합니다.
하드웨어 가속: NVIDIA CUDA, AMD/Intel Vulkan 및 Apple Silicon (Core ML/Metal)을 지원합니다.
광범위한 통합: 20개 이상의 번역 서비스 및 다양한 클라우드 ASR/TTS 제공업체와 연결됩니다.
보이스 클로닝: 로컬 또는 클라우드 기반 엔진을 사용한 제로샷 보이스 클로닝 기능을 제공합니다.