Blue-B/WhisperSubTranslate

해결하는 문제

WhisperSubTranslate는 로컬 애플리케이션으로 동영상 오디오를 다국어 자막으로 변환합니다. 클라우드 기반의 고비용 서비스에 의존하지 않고도 사용자의 기기에서 비디오 데이터를 완전히 사생활 보호된 상태로 처리할 수 있도록 합니다.

작동 방식

이 앱은 whisper.cpp를 사용해 로컬에서 음성 인식(자막 파일 생성)을 수행하며, 번역에는 두 가지 경로를 제공합니다:

1. 오프라인 번역: 내장된 텐센트 Hy-MT2 모델(1.8B 또는 7B)을 사용해 디바이스에서 텍스트를 번역합니다.
2. 온라인 번역: DeepL, OpenAI, Gemini, Claude 등 외부 API 또는 OpenAI 호환 제공자(예: Ollama, vLLM)와 통합합니다.

또한 표준 모델이 타이밍을 유지하지 못하는 비영어 비디오에서 자막 드리프트를 수정할 수 있는 전용 "동기화 복구" 모델(Large-v2 Sync 및 Sync Lite)도 포함되어 있습니다.

대상 사용자

100개 이상의 언어로 자막을 생성하고 15개의 목표 언어로 번역이 필요한 콘텐츠 제작자 및 사용자. 특히 개인정보 보호, 오프라인 작동, 로컬 GPU 가속(CUDA/Vulkan)을 중시하는 사용자에게 적합합니다.

주요 특징

• 100% 로컬 처리: 음성 인식 및 선택적 번역을 계정이나 업로드 없이 완전히 오프라인에서 수행 가능.
• 유연한 번역 엔진: 내장된 로컬 Hy-MT2 모델과 다양한 고성능 클라우드 API 중 선택 가능.
• 자동 설정: 모델 다운로드를 자동으로 처리하여 사용자가 Python 수동 설치가 필요 없음.
• 동기화 복구: 비영어 비디오에서 타이밍 드리프트를 보정하는 전용 엔진.
• 하드웨어 가속: NVIDIA CUDA 및 AMD, Intel의 Vulkan 대응 GPU를 지원해 처리 속도 향상.