buxuku/SmartSub

해결하는 문제

SmartSub는 오디오-비디오 자막 및 더빙 파이프라인을 하나의 도구에 통합한 오픈소스 데스크톱 애플리케이션입니다: 음성-텍스트 변환, 자막 번역, 교정, 음성 복제가 포함된 TTS 음성 합성, 자막 번인. 여러 개별 도구를 전환하거나 파일을 클라우드로 보내지 않고도 외국어 비디오 처리, 다국어 콘텐츠 제작, 음성 해설 추가, 비디오 제작 자동화 문제를 해결합니다. 전체 파이프라인은 로컬 모델을 사용하여 완전히 무료로 오프라인에서 실행할 수 있습니다.

작동 방식

핵심 워크플로는 다음과 같습니다: 온라인 비디오(YouTube 또는 Bilibili 같은 플랫폼)를 다운로드하거나 로컬 파일을 가져오고, 로컬 ASR 엔진(whisper.cpp, faster-whisper, FunASR, Qwen3-ASR, FireRedASR, NVIDIA Parakeet 등)을 사용하여 음성을 자막으로 전사하고, 내장 무료 서비스 또는 20개 이상의 클라우드/LLM 제공업체를 통해 자막을 번역하고, 통합 편집기에서 자막을 교정 및 다듬고, TTS 더빙(로컬 Kokoro/VITS 음성, ZipVoice 제로샷 음성 복제, 또는 Edge TTS, Azure, ElevenLabs 같은 클라우드 서비스)을 합성하고, 마지막으로 ffmpeg로 비디오에 자막을 번인합니다(하드 또는 소프트 자막). GUI 외에도 SmartSub에는 컨텍스트 인식, 멀티모달 스크린샷 진단, 직접 도구 호출이 가능한 AI 코파일럿과 111개의 도구를 노출하는 완전한 MCP 서버 및 CLI가 포함되어 있어 외부 AI 에이전트(Cursor, Claude Code, Codex) 또는 셸 스크립트가 전체 파이프라인을 헤드리스로 구동할 수 있습니다. 로컬 처리는 파일을 기기에 유지합니다. 클라우드 서비스는 옵트인이며 개인정보 확인이 있습니다. GPU 가속은 CUDA, Vulkan 및 Apple Core ML/Metal을 통해 지원됩니다.

대상 사용자

SmartSub는 비디오에 자막이나 더빙을 추가하거나, 기존 자막을 번역하거나, 국제 시청자를 위해 콘텐츠를 재사용하거나, 미디어 워크플로를 자동화해야 하는 콘텐츠 제작자, 번역가, 교육자, 팟캐스터, 비디오 편집자 및 개발자를 위해 만들어졌습니다. 친숙한 GUI를 원하는 비기술 사용자와 AI 에이전트나 CI/CD 스크립트에 연결하려는 개발자/AI 애호가 모두에게 적합합니다.

주요 기능

• 올인원 파이프라인: 하나의 앱에서 다운로드, 전사, 번역, 교정, 음성 복제 더빙, 자막 번인
• 완전 로컬 및 무료 경로: 오프라인 전사, 내장 무료 번역 소스, 음성 복제가 포함된 로컬 TTS, 로컬 ffmpeg—로컬 단계에 API 키나 사용 제한 없음
• 깊은 컨텍스트 인식을 갖춘 AI 코파일럿: 현재 재생, 선택된 자막 줄, 작업 로그를 이해하고 자연어로 자막을 편집하거나 문제를 해결할 수 있음
• 멀티모달 스크린샷 진단: 작업 공간을 캡처하고 비전 LLM이 오류 팝업과 UI 상태를 분석하도록 함
• 에이전트 자동화: 111개의 MCP 도구와 CLI 명령으로 외부 AI 에이전트(Cursor, Claude Code, Codex) 또는 터미널 스크립트가 제작 파이프라인을 완전히 자동화할 수 있음
• 광범위한 모델 지원: 8개의 ASR 엔진, 20개 이상의 번역 서비스, 6개의 TTS 제공업체, 여러 LLM 엔드포인트(DeepSeek, Qwen, Gemini, OpenAI 호환 등)
• 개인정보 보호 중심: 로컬 처리, 선택적 클라우드, 텔레메트리 없음, 사용 데이터 수집 없음
• 크로스 플랫폼(Windows, macOS, Linux), GPU 가속, 원클릭 설치 프로그램 / Homebrew 지원