SmartSub: 비디오 전사, 번역, AI 더빙, 자막 굽기를 위한 올인원 데스크톱 도구

무엇을 해결하는가

SmartSub는 비디오 처리를 위한 완전 자동화된 파이프라인을 제공하여 음성을 텍스트로 변환하고, 자막을 번역하며, AI 더빙을 생성하는 파편화된 워크플로를 해결합니다. 사용자는 여러 개의 분리된 도구가 필요 없이 외국어 비디오를 동기화된 더빙과 번인 자막이 포함된 현지화된 콘텐츠로 변환할 수 있습니다.

어떻게 작동하는가

이 애플리케이션은 다단계 파이프라인으로 작동합니다: yt-dlp/lux를 통해 비디오를 다운로드하고, whisper.cpp 또는 FunASR과 같은 로컬 엔진으로 오디오를 전사하며, 다양한 서비스( Ollama를 통한 로컬 LLM 포함)를 사용하여 텍스트를 번역하고, 더빙을 위해 TTS(Text-to-Speech)를 수행합니다. 마지막으로, FFmpeg를 사용하여 자막을 비디오에 굽거나 소프트 자막으로 멀티플렉스(mux)합니다.

누구를 위한 것인가

• Content Creators 국제 청중을 위한 비디오 현지화를 원하는 사용자
• Language Learners 외국어 강의 또는 비디오를 위한 이중 언어 자막이 필요한 사용자
• Podcast/Meeting Organizers SRT 파일로 오디오를 일괄 전사해야 하는 사용자
• Privacy-Conscious Users 자체 하드웨어에서 전사 및 TTS 모델을 로컬로 실행하는 것을 선호하는 사용자

주요 기능

• Full Pipeline: 다운로드, 전사, 번역, 교정, 더빙, 비디오 합성을 모두 포함하는 전체 파이프라인
• Local-First Privacy: Whisper, Kokoro, VITS와 같은 로컬 모델을 사용하여 오프라인 처리를 지원하여 파일을 사용자 머신에 유지함
• Hardware Acceleration: NVIDIA CUDA, AMD/Intel Vulkan, 그리고 Apple Silicon (Core ML/Metal)을 지원하는 하드웨어 가속
• Extensive Integrations: 20+ 개 이상의 번역 서비스 및 다양한 클라우드 ASR/TTS 제공업체와 연결
• Voice Cloning: 로컬 또는 클라우드 기반 엔진을 사용한 제로샷 음성 복제 기능 제공