tmoroney/auto-subs

해결하는 문제

AutoSubs는 데이터를 클라우드로 전송하지 않고도 오디오 및 비디오 파일의 텍스트 변환을 가능하게 하는 로컬 퍼스트 AI 자막 생성기입니다. 값비싼 구독료의 필요성을 없애고 모든 텍스트 변환 및 번역 작업을 온디바이스로 처리하여 프라이버시를 보장합니다.

작동 원리

이 애플리케이션은 음성-텍스트 변환 및 화자 식별을 위해 여러 로컬 AI 모델을 활용합니다. OpenAI의 Whisper 모델에는 whisper-rs를 사용하며, Moonshine, Parakeet, Canary, Cohere를 포함한 다양한 모델에는 ONNX Runtime을 사용합니다. 또한 음성 활동 감지를 위한 Silero VAD 모델과 서로 다른 화자를 식별하고 라벨을 지정하기 위한 전용 화자 분할(diarization) 모델을 포함하고 있습니다.

대상 사용자

고품질의 프라이빗한 로컬 텍스트 변환이 필요한 콘텐츠 크리에이터, 영상 편집자 및 번역가를 위한 도구입니다. DaVinci Resolve, Adobe Premiere Pro, Adobe After Effects와 같은 전문 영상 편집 소프트웨어와 통합되도록 특별히 설계되었습니다.

주요 특징

• 로컬 퍼스트 처리: 모든 텍스트 변환 및 번역이 온디바이스에서 이루어지므로 데이터가 기기를 벗어나지 않습니다.
• 폭넓은 모델 지원: 다양한 언어와 정확도 수준을 위해 광범위한 모델(Whisper, Moonshine, Parakeet, SenseVoice, Canary, Cohere, GigaAM)을 지원합니다.
• 전문적인 통합: DaVinci Resolve와의 직접 연결 및 Adobe Premiere Pro와 After Effects를 위한 CEP 확장을 지원합니다.
• 화자 분할: 화자별 스타일링을 위해 서로 다른 화자를 식별하고 라벨을 지정할 수 있습니다.
• 크로스 플랫폼: macOS, Windows 및 Linux에서 사용할 수 있습니다.