zackees/transcribe-anything

해결하는 문제

transcribe-anything은 다양한 OpenAI Whisper 변형의 설치 및 사용을 간소화하는 통합 명령줄 인터페이스(CLI) 및 Python API입니다. 각 백엔드를 자체 격리된 환경에서 실행함으로써 서로 다른 전사 백엔드를 설정할 때 발생하는 '의존성 지옥'을 제거합니다. 이를 통해 사용자는 복잡한 수동 구성 없이 로컬 파일이나 URL(YouTube, Rumble)을 텍스트 및 자막 파일로 전사할 수 있습니다.

작동 방식

이 도구는 라우터 역할을 하여 오디오/비디오 입력을 정규화 프로세스(yt-dlp 및 ffmpeg 사용)를 거치게 한 다음, --device 플래그에 따라 선택된 백엔드로 전달합니다. 각 백엔드는 처음 사용할 때 생성되는 격리된 가상 환경에서 관리됩니다. 지원되는 백엔드는 다음과 같습니다:

• openai-whisper: CPU/CUDA를 위한 참조 구현.
• insanely-fast-whisper: 배치 처리된 Hugging Face 파이프라인과 선택적 FlashAttention2(--device insane-flash)를 활용하는 고성능 CUDA 백엔드.
• WhisperX: VAD 청킹, 정확한 타임스탬프를 위한 wav2vec2 강제 정렬, 화자 분리 기능 제공.
• SenseVoice: CJK 언어와 속도에 최적화된 비자기회귀 다국어 모델.
• lightning-whisper-mlx: Apple Silicon(Metal GPU)에 최적화.
• Intel Arc GPU: Windows 및 Linux에서 XPU 백엔드 지원.

대상 사용자

여러 Python 환경을 관리할 필요 없이 다양한 하드웨어 플랫폼(NVIDIA GPU, Apple Silicon, Intel Arc 또는 CPU)에서 고품질의 비공개 로컬 전사 및 번역 서비스가 필요한 콘텐츠 제작자, 개발자 및 연구자.

주요 특징

• 격리된 환경: 의존성 충돌을 방지하기 위해 각 백엔드에 대해 별도의 venv를 자동으로 관리합니다.
• 다중 백엔드 지원: 여러 최첨단 전사 엔진을 하나의 도구로 통합.
• 화자 분리: 대화를 화자별로 구분하는 고유한 speaker.json 파일 생성.
• 음소 단위의 정확한 타임스탬프: --align 플래그를 통해 빠른 경로에서 단어 수준의 정렬 제공.
• 광범위한 입력 지원: 로컬 파일 및 원격 URL(YouTube/Rumble)을 기본적으로 처리.
• 크로스 플랫폼: Windows, Linux 및 macOS 기본 지원.