mybigday/whisper.rn

解決的問題

whisper.rn 為高性能的裝置端自動語音辨識 (ASR) 提供 React Native 綁定。它允許開發者將 OpenAI 的 Whisper 和 NVIDIA Parakeet 模型整合到行動應用程式中，而無需依賴雲端轉錄服務。

工作原理

該函式庫作為 whisper.cpp（Whisper 的 C++ 實作）的橋樑。它支援載入 GGML 模型二進位檔案（包括量化版本），並提供用於轉錄音訊檔案或原始 PCM 數據的非同步 API。它還包含透過 Silero VAD 模型進行語音活動檢測 (VAD) 的支援，以識別音訊中的語音片段。

適用對象

使用 React Native 的行動開發人員，需要在其 iOS 和 Android 應用程式中實現離線、隱私且低延遲的轉錄或即時語音轉文字功能。

亮點

• 多模型支援：支援 OpenAI 的 Whisper 和 NVIDIA Parakeet TDT 模型。
• 即時轉錄：包含一個 RealtimeTranscriber，用於具備整合 VAD 與自動切片的串流音訊轉錄。
• 硬體加速：支援在 iOS 裝置上進行加速推論的 Core ML。
• VAD 整合：內建對 Silero VAD 的支援，用於從檔案、URL 或原始數據中檢測語音片段。
• 靈活的資源管理：模型和音訊檔案可以從本地檔案系統載入，或作為應用程式資源打包。