FluidInference/FluidAudio
Frontier CoreML audio models in your apps — text-to-speech, speech-to-text, voice activity detection, and speaker diarization. In Swift, powered by SOTA open source.
해결하는 문제
FluidAudio는 Apple 하드웨어를 위한 온디바이스, 저지연 음성 기능을 제공합니다. 앱은 음성 전사, 음성 합성, 발화 감지, 화자 분리, 오디오 정리를 클라우드로 데이터를 보내지 않고 수행할 수 있습니다.
작동 방식
SDK는 Apple Neural Engine(ANE)용으로 변환 및 최적화된 CoreML 모델에 대한 Swift 바인딩을 제공합니다. 모델은 수십 개 언어의 자동 음성 인식(ASR), 역텍스트 정규화, 텍스트 음성 변환, 음성 활동 감지, 화자 분리, 화자 임베딩 추출, 음향 에코/노이즈 억제를 포함합니다. 개발자는 몇 번의 Swift 호출로 원하는 기능을 추가할 수 있습니다. 무거운 작업은 ANE에서 실행되어 CPU 사용을 낮추고 개인 정보를 보호합니다.
대상 사용자
- 개인 정보 보호 우선 음성 비서, 받아쓰기 도구, 회의록 앱 또는 빠른 오프라인 음성 처리가 필요한 모든 앱을 구축하는 iOS/macOS 개발자.
- 클라우드 API에 의존하지 않고 제품에 음성 AI를 포함하려는 기업.
- Apple Silicon에서 최첨단 오디오 모델을 실행하는 데 관심이 있는 연구자.
주요 특징
- ASR 모델(Parakeet, SenseVoice, Paraformer)은 25개 이상의 유럽 언어, 일본어, 중국어 및 스트리밍 실시간 전사를 지원합니다.
- 음성 숫자를 숫자로 변환하는 내장 역텍스트 정규화.
- 다국어 TTS 모델(Kokoro, PocketTTS, Chatterbox)은 SSML 제어 및 음성 복제를 지원합니다.
- 화자 인식 애플리케이션을 위한 실시간 화자 분리 및 임베딩 추출.
- 약 16ms 지연 시간으로 실행되는 음성 활동 감지 및 에코/노이즈 억제.
- 모든 모델은 ANE에서 실행되어 전력 소모가 적고 추론 속도가 빠릅니다.
- 오픈소스 모델 가중치는 허용적인 라이선스 하에 Hugging Face에서 호스팅됩니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트