Carleslc/AudioToText

해결하는 문제

AudioToText는 오디오 파일을 텍스트로 변환하고 번역하는 과정을 간소화합니다. OpenAI의 Whisper를 사용하여 전사 및 영어 번역을 수행하고, DeepL과 통합하여 다른 대상 언어로 번역할 수 있는 통합 인터페이스를 제공합니다.

작동 방식

이 프로젝트는 Python 기반 도구(CLI, Jupyter Notebook 또는 Google Colab에서 사용 가능)를 제공하며, Whisper 모델을 활용하여 다양한 언어의 오디오를 전사하거나 직접 영어로 번역합니다. 영어 이외의 언어로 번역을 지원하기 위해 전사된 내용을 DeepL API를 통해 처리합니다. 결과물은 일반 텍스트(TXT), WebVTT(VTT), SubRip(SRT), TSV, JSON 등 다양한 형식으로 출력할 수 있습니다.

대상 사용자

복잡한 설정 없이 오디오를 전사하거나 비디오 및 오디오 파일에 대한 다국어 자막을 생성해야 하는 콘텐츠 제작자, 연구원 및 개발자.

주요 특징

• 멀티 모델 지원: 오픈 소스 Whisper 모델(tiny, base, small, medium, large, turbo) 또는 OpenAI API 중에서 선택 가능.
• 광범위한 언어 지원: Whisper를 통해 다양한 언어의 오디오를 전사하고 영어로 번역하거나, DeepL을 통해 다른 여러 언어로 번역.
• 자막 생성: VLC와 같은 미디어 플레이어에서 사용할 수 있는 VTT 및 SRT 파일 생성.
• 유연한 배포: CLI를 통한 로컬 실행, Google Colab에서의 클라우드 GPU 사용, 또는 Jupyter 환경 내에서 실행 가능.
• Apple Silicon 최적화: MLX를 지원하여 Mac M1/M2/M3/M4 칩에서 더 빠른 추론 속도 제공.