mybigday/whisper.rn

解决的问题

whisper.rn 为高性能的设备端自动语音识别 (ASR) 提供 React Native 绑定。它允许开发者将 OpenAI 的 Whisper 和 NVIDIA Parakeet 模型集成到移动应用程序中，而无需依赖云端转录服务。

工作原理

该库充当 whisper.cpp（Whisper 的 C++ 实现）的桥梁。它支持加载 GGML 模型二进制文件（包括量化版本），并提供用于转录音频文件或原始 PCM 数据的异步 API。它还包括通过 Silero VAD 模型进行语音活动检测 (VAD) 的支持，以识别音频中的语音片段。

适用对象

使用 React Native 的移动开发人员，需要在其 iOS 和 Android 应用中实现离线、隐私且低延迟的转录或实时语音转文字功能。

亮点

• 多模型支持：支持 OpenAI 的 Whisper 和 NVIDIA Parakeet TDT 模型。
• 实时转录：包含一个 RealtimeTranscriber，用于带有集成 VAD 和自动切片的流式音频转录。
• 硬件加速：支持在 iOS 设备上进行加速推理的 Core ML。
• VAD 集成：内置对 Silero VAD 的支持，用于从文件、URL 或原始数据中检测语音片段。
• 灵活的资源管理：模型和音频文件可以从本地文件系统加载，或作为应用资源打包。