deeeed/audiolab

解決的問題

Audiolab 是一個為 React Native 與 Expo 應用整合進階音訊處理功能的綜合性工具包。它解決了在 iOS、Android 與 Web 平台上實現高效率、在地端音訊錄製、分析與語音處理的困難。

工作原理

採用單體倉儲（monorepo）結構，包含針對不同音訊任務的專用套件：

• 核心處理： @siteed/audio-studio 負責基礎的錄音與分析功能。
• 可視化： @siteed/audio-ui 提供使用 Skia 的音訊可視化元件。
• 特徵提取： @siteed/react-native-essentia 使用 Essentia 庫提取音訊特徵。
• 在地端語音處理： @siteed/sherpa-onnx.rn 與 @siteed/moonshine.rn 提供在地端語音辨識（STT）、語音合成（TTS）與意圖辨識功能。

適用對象

使用 React Native 與 Expo 建構行動與 Web 應用，需要專業級音訊功能（如字幕生成、語音助理、音訊分析工具）的開發者。

主要亮點

• 在地端處理： 支援在地端字幕生成與意圖辨識，降低延遲並減少隱私疑慮。
• 跨平台： 提供 iOS、Android 與 Web 的統一 API。
• 高效率： 包含透過 Essentia 的 C++ 基底音訊分析與零延遲錄音。
• 完整生態系： 包含一個全面的示範應用（Audio Playground），展示所有整合功能。