deeeed/audiolab

해결하는 문제

Audiolab는 React Native 및 Expo 앱에 고급 오디오 처리 기능을 통합하기 위한 포괄적인 툴킷입니다. iOS, Android, 웹 전반에서 고성능의 온디바이스 오디오 녹음, 분석, 음성 처리를 구현하는 어려움을 해결합니다.

작동 방식

다양한 오디오 작업을 위한 전용 패키지로 구성된 모노레포로 구성되어 있습니다.

• 핵심 처리: @siteed/audio-studio는 기본적인 녹음 및 분석 기능을 담당합니다.
• 시각화: @siteed/audio-ui는 Skia를 사용한 오디오 시각화 컴포넌트를 제공합니다.
• 특징 추출: @siteed/react-native-essentia는 Essentia 라이브러리를 사용해 오디오 특징을 추출합니다.
• 온디바이스 음성 처리: @siteed/sherpa-onnx.rn과 @siteed/moonshine.rn은 온디바이스 음성 인식(STT), 음성 합성(TTS), 의도 인식을 제공합니다.

대상 사용자

React Native 및 Expo를 사용하여 모바일 및 웹 앱을 개발하고, 자막 생성, 음성 비서, 오디오 분석 도구와 같은 프로페셔널 수준의 오디오 기능이 필요한 개발자들입니다.

주요 특징

• 온디바이스 처리: 온디바이스 자막 생성 및 의도 인식을 지원하여 지연 시간을 줄이고 개인정보 보호 문제를 완화합니다.
• 크로스플랫폼: iOS, Android, 웹용 통합 API를 제공합니다.
• 고성능: Essentia를 통한 C++ 기반 오디오 분석과 제로 레이턴시 녹음을 포함합니다.
• 완전한 생태계: 모든 통합 기능을 시연하는 포괄적인 데모 앱(오디오 플레이그라운드)을 포함합니다.