deeeed/audiolab

何を解決するか

Audiolab は、React Native および Expo アプリに高度なオーディオ処理を統合するための包括的なツールキットです。iOS、Android、Web のすべてのプラットフォームで、高性能でオンデバイスのオーディオ録音、分析、音声処理を実装する難しさを解決します。

仕組み

モノレポ形式で構成されており、さまざまなオーディオタスク用の専用パッケージを含んでいます。

• コア処理: @siteed/audio-studio は、基本的な録音および分析機能を担当します。
• 可視化: @siteed/audio-ui は、Skia を使用したオーディオ可視化用のコンポーネントを提供します。
• 特徴抽出: @siteed/react-native-essentia は Essentia ライブラリを使用してオーディオ特徴を抽出します。
• オンデバイス音声処理: @siteed/sherpa-onnx.rn と @siteed/moonshine.rn は、オンデバイスの音声認識（STT）、音声合成（TTS）、意図認識を提供します。

対象ユーザー

React Native および Expo を使用してモバイルおよびウェブアプリを開発し、字幕作成、音声アシスタント、オーディオ分析ツールなど、プロフェッショナルレベルのオーディオ機能を必要とする開発者。

特徴

• オンデバイス処理: オンデバイスでの字幕作成と意図認識をサポートし、遅延を低減し、プライバシーの懸念を軽減します。
• クロスプラットフォーム: iOS、Android、Web 用の統一 API を提供します。
• 高パフォーマンス: Essentia を介した C++ 基盤のオーディオ分析と、ゼロラグ録音を含みます。
• 完全なエコシステム: すべての統合機能を紹介する包括的なデモアプリ（Audio Playground）を含んでいます。