mybigday/whisper.rn

해결하는 문제

whisper.rn은 고성능 온디바이스 자동 음성 인식(ASR)을 위한 React Native 바인딩을 제공합니다. 개발자는 클라우드 기반 전사 서비스에 의존하지 않고 OpenAI의 Whisper 및 NVIDIA Parakeet 모델을 모바일 애플리케이션에 통합할 수 있습니다.

작동 원리

이 라이브러리는 Whisper의 C++ 구현체인 whisper.cpp로 연결되는 브리지 역할을 합니다. GGML 모델 바이너리(양자화 버전 포함) 로드를 지원하며, 오디오 파일 또는 원시 PCM 데이터의 전사를 위한 비동기 API를 제공합니다. 또한 Silero VAD 모델을 통한 음성 활동 감지(VAD)를 지원하여 오디오 내 음성 구간을 식별합니다.

대상 사용자

iOS 및 Android 앱에서 오프라인, 프라이버시 보호 및 저지연 전사 또는 실시간 음성-텍스트 변환 기능을 구현해야 하는 React Native 기반 모바일 개발자.

주요 특징

• 멀티 모델 지원: OpenAI의 Whisper와 NVIDIA Parakeet TDT 모델을 모두 지원합니다.
• 실시간 전사: VAD 및 자동 슬라이싱 기능이 통합된 스트리밍 오디오 전사를 위한 RealtimeTranscriber를 포함합니다.
• 하드웨어 가속: iOS 기기에서 가속 추론을 위한 Core ML를 지원합니다.
• VAD 통합: 파일, URL 또는 원시 데이터에서 음성 구간을 감지하기 위한 Silero VAD 내장 지원.
• 유연한 에셋 관리: 모델 및 오디오 파일은 로컬 파일 시스템에서 로드하거나 앱 에셋으로 번들링할 수 있습니다.