tmoroney/auto-subs

AutoSubs – 비디오 편집자를 위한 오프라인 AI 자막

무엇을 하는가 AutoSubs는 오디오 또는 비디오 파일을 타임스탬프가 있는 자막 파일로 변환하는 데스크톱 애플리케이션입니다. 모든 처리는 사용자의 컴퓨터에서 완전히 오프라인으로 이루어집니다. 수십 가지 음성 인식 모델(OpenAI Whisper, Moonshine, Parakeet, SenseVoice 등)을 지원하며, 자동으로 화자 식별이 가능합니다. 생성된 자막은 SRT 또는 일반 텍스트 형식으로 내보낼 수 있으며, DaVinci Resolve, Adobe Premiere Pro, After Effects와 같은 인기 있는 편집 소프트웨어에 직접 전달할 수 있습니다.

왜 중요한가

• 개인정보 우선 – 클라우드 호출 없음. 모든 작업은 디바이스 내부에서 수행되며, 고품질 음성-텍스트 도구 중 드문 사례입니다.
• 창의적 워크플로우 통합 – 업계 표준 NLE에 대한 직접 플러그인을 통해 편집자는 타임라인에서 벗어나지 않고 자막 생성 및 보정이 가능합니다.
• 모델 유연성 – 작고 빠른 모델부터 대규모 고정확도 Whisper-large, 러시아어, 중국어 등 전용 모델까지 다양한 선택지로 속도, RAM 사용량, 정확도를 균형 있게 조절할 수 있습니다.
• 크로스플랫폼 – Windows, macOS(Intel & Apple Silicon), Linux용 네이티브 설치 파일과 Homebrew 지원 제공.

작동 방식

1. 독립형 UI 또는 Resolve/Adobe 확장 기능을 통해 소스 파일(오디오 또는 비디오)을 선택합니다.
2. 내장된 모델 매니저에서 음성 인식 모델을 선택합니다. 필요 시 모델 파일을 동적으로 다운로드합니다.
3. 오디오는 선택한 모델(Whisper-rs, ONNX Runtime 등)을 통해 처리됩니다. VAD 모델로 음성 구간을 분리하고, 화자 분리(Diarization) 모델로 화자를 태그하며, 선택적으로 강제 정렬(Forced-alignment) 모델로 단어 수준 타임스탬프를 추가합니다.
4. UI에서 생성된 자막을 편집할 수 있습니다. 화자 라벨, 타임스탬프, 스타일을 조정할 수 있습니다.
5. 내보내기 – SRT 파일로 저장하거나 클립보드에 복사하거나, Resolve/Premiere/After Effects로 직접 전달합니다.

핵심 기술 구성 요소

• Rust 기반 커널 – Whisper에는 whisper-rs, ONNX 모델에는 transcribe-rs, 화자 분리에는 pyannote-rs 사용.
• 모델 매니저 – 모델 파일의 동적 다운로드, 검증, 캐시 관리 (크기: 약 60MB ~ 3GB 이상).
• 통합 기능 –
  • DaVinci Resolve: Lua 서버 + Fusion 매크로로 타임라인 오디오를 읽고 자막 트랙을 씁니다.
  • Adobe: CEP 확장으로 Premiere Pro/After Effects와 통신하여 SRT를 가져오거나 내보냅니다.
• CLI – 스크립팅 또는 헤드리스 사용을 위한 완전한 명령줄 인터페이스 (CLI.md 참조).

누구에게 적합한가

• 클라우드 서비스 요금 없이 빠르고 정확한 자막이 필요한 비디오 편집자.
• 데이터 프라이버시에 신경 쓰는 콘텐츠 제작자.
• 로컬에서 실행 가능한 음성-텍스트 스택을 원하고, 오픈소스 Rust 코드로 앱을 확장하고 싶은 개발자.

시작하기 릴리스 페이지에서 적절한 설치 파일을 다운로드하거나(macOS의 경우 brew install --cask auto-subs) 실행 후, README의 빠른 시작 가이드를 따라 자막을 생성하거나, 배치 처리를 위한 CLI 가이드를 탐색하세요.

라이선스 및 모델 조건 애플리케이션 코드는 MIT 라이선스입니다. 음성 인식 모델은 별도로 다운로드되며 원래 라이선스를 유지합니다(예: MMS 강제 정렬 가중치는 CC BY-NC 4.0). 사용자는 각 모델의 라이선스 조건을 준수해야 합니다.

---

모든 정보는 리포지토리의 README에서 직접 인용되었으며, 추가 기능은 추정되지 않았습니다.