soniqo/speech-swift

AI speech toolkit for Apple Silicon — ASR, TTS, speech-to-speech, VAD, and diarization powered by MLX and CoreML

Speech Swift란 무엇인가요?

Speech Swift는 Apple Silicon 기기(Mac, iPhone, iPad)에 최신 AI 음성 모델 제품군을 제공하는 오픈소스 Swift 패키지입니다. 모든 추론은 로컬에서 실행되므로 클라우드 서비스나 API 키가 필요 없으며, 오디오 데이터가 기기를 벗어나지 않습니다. 이 라이브러리는 Apple 친화적인 두 가지 런타임 위에 구축되었습니다.

MLX – macOS에서 대규모 언어 모델 스타일의 네트워크를 실행하기 위한 빠른 GPU 가속 프레임워크.
Core ML – 초저지연을 위해 Neural Engine (ANE)에서 실행 가능한 Apple의 온디바이스 추론 엔진.

이 패키지는 각 모델을 독립적인 Swift-Package-Manager 제품으로 제공하므로 실제로 필요한 모델만 가져올 수 있습니다.

주요 기능 (작업별 그룹화)

카테고리	예시 모델 (크기)	기능
음성 인식 (ASR)	Qwen3-ASR (0.6-1.7 B), Whisper-ASR (Large-v3 Turbo), Omnilingual ASR (최대 7 B, 1 672 개 언어)	오디오를 텍스트로 변환. 스트리밍, 구두점, 화자 분리 및 다국어 출력 지원.
정렬	Qwen3-ForcedAligner (0.6 B)	오디오와 스크립트를 받아 단어 수준의 타임스탬프를 반환합니다.
음성 합성 (TTS)	Qwen3-TTS (0.6-1.7 B), CosyVoice 3 (0.5 B), Kokoro 82 M, Supertonic 3 (99 M)	고품질 스트리밍 합성. 제로샷 음성 복제, 감정 태그 및 다중 화자 출력 지원.
LLM 및 번역	Qwen3Chat (0.8-4 B), FunctionGemma (270 M), MADLAD-400 (3 B, 400+ 개 언어)	온디바이스 채팅, 도구 호출 및 다대다 텍스트 번역.
음성 대화 / 음성 에이전트	PersonaPlex (7 B), VoiceChat 11 B, Hibiki Zero-3 B	전이중 오디오 입력 → 오디오 출력 파이프라인. 지속적으로 듣고 말할 수 있는 대화형 에이전트 구현.
오디오 향상	DeepFilterNet3 (2.1 M), LocalVQE AEC, 음원 분리 (HTDemucs + Open-Unmix)	실시간 노이즈 억제, 에코 제거 및 음악 스템 분리.
유틸리티	웨이크워드 감지, VAD, 화자 분리, 화자 임베딩	강력한 음성 활성화 인터페이스 구축 및 화자 식별.

시작하기 (빠른 예시)

import ParakeetStreamingASR   // 스트리밍 ASR 제품만 가져오기

let model = try await ParakeetStreamingASRModel.fromPretrained()
let text  = try model.transcribeAudio(audioSamples, sampleRate: 16_000)

동일한 모델은 실시간 받아쓰기를 위한 transcribeStream 비동기 시퀀스도 제공합니다.

선택 사항인 SpeechUI 제품을 통해 최소한의 SwiftUI 받아쓰기 뷰가 제공됩니다. 가져온 후 TranscriptionView를 UI에 배치하기만 하면 됩니다.

대상 사용자

iOS/macOS 개발자：클라우드 API 비용 없이 온디바이스 음성 기능을 사용하려는 분.
연구원：Apple 하드웨어에서 대규모 음성 모델을 벤치마킹할 편리한 방법을 찾는 분.
제품 팀：사용자 개인정보를 존중해야 하는 음성 비서, 전사 도구 또는 멀티모달 AI 에이전트를 구축하는 분.

추가 정보

전체 문서 및 모델 카탈로그 – https://soniqo.audio
사전 학습된 모델 파일 – Hugging Face의 aufklarer 조직에서 호스팅.
커뮤니티 – Discord 서버(README에 초대 링크 있음) 및 성능 비교, 백엔드 선택(MLX vs Core ML), 엔드투엔드 데모를 다루는 블로그 시리즈.
설치 – brew install speech도 Homebrew를 통해 작동합니다.

요약

Speech Swift는 MLX 또는 Core ML을 사용하여 Apple Silicon에서 최첨단 음성 인식, 음성 합성, 번역 및 음성 에이전트 모델을 로컬로 실행할 수 있는 포괄적인 온디바이스 Swift 라이브러리입니다. 모듈화되어 있고 문서가 잘 갖춰져 있으며, 이미 이 라이브러리에 의존하는 성장 중인 오픈소스 프로젝트 생태계의 지원을 받고 있습니다.