Softcatala/whisper-ctranslate2

해결하는 문제

Whisper-ctranslate2는 OpenAI Whisper용 고성능 명령줄 클라이언트로, 오디오 전사 및 번역에 필요한 시간과 메모리를 줄이도록 설계되었습니다. CTranslate2와 Faster-whisper를 활용하여 원래 OpenAI 구현의 느린 추론 속도를 해결합니다.

작동 방식

이 프로젝트는 CTranslate2 엔진과 Whisper 모델의 Faster-whisper 구현을 사용합니다. Intel MKL, oneDNN, OpenBLAS, Ruy, Apple Accelerate와 같은 다양한 하드웨어 최적화와 int8과 같은 양자화를 지원하여 CPU와 GPU 모두에서 실행 속도를 높입니다. 원래 OpenAI Whisper CLI와의 호환성을 유지하여 쉽게 마이그레이션할 수 있습니다.

대상 사용자

빠르고 효율적인 오디오-텍스트 전사 및 번역이 필요한 사용자, 특히 제한된 하드웨어에서 실행하거나 대량의 오디오 파일을 처리하는 사용자에게 적합합니다.

주요 기능

• 고성능: 원래 OpenAI Whisper보다 최대 4배 빠르며, 배치 추론을 통해 최대 16배까지 속도를 높일 수 있습니다.
• 화자 분리: pyannote.audio와 통합하여 오디오 녹음에서 다른 화자를 식별합니다.
• VAD 필터: Silero VAD를 사용하여 비음성 세그먼트를 필터링하여 전사 품질을 향상시킵니다.
• 실시간 전사: 마이크에서 직접 실시간 전사를 지원합니다.
• 유연한 배포: Python 패키지 또는 모델이 사전 로드된 Docker 이미지로 제공됩니다.
• 사용자 정의 모델: 로컬 디렉토리에서 파인튜닝 또는 양자화된 Whisper 모델을 로드할 수 있습니다.