Blaizzy/mlx-audio-swift

해결하는 문제

MLX Audio Swift는 고성능 오디오 AI 모델을 macOS 및 iOS 애플리케이션에 통합하기 위한 모듈형 Swift SDK를 제공합니다. Apple Silicon에서 다양한 오디오 처리 작업을 수행할 수 있는 통합된 타입 안전 API를 제공하여 복잡한 설정 과정을 제거합니다.

작동 방식

이 SDK는 MLX 프레임워크를 기반으로 구축되었으며, 개발자가 필요한 구성 요소만 개별적으로 가져와 애플리케이션 크기를 작게 유지할 수 있도록 모듈형으로 구성되어 있습니다. HuggingFace Hub에서 모델을 자동으로 다운로드하는 기능을 지원하며, 비동기 처리를 위해 네이티브 Swift async/await를 활용합니다. 라이브러리는 다음과 같은 전문 모듈로 나뉩니다.

• MLXAudioCore: 기본 유틸리티 및 타입.
• MLXAudioTTS: 텍스트 음성 변환(TTS) 생성.
• MLXAudioSTT: 음성 텍스트 변환(STT) 전사.
• MLXAudioVAD: 음성 활동 감지(VAD) 및 화자 분리.
• MLXAudioSTS: 음성 대 음성(STS) 처리.
• MLXAudioCodecs: 오디오 토큰 인코딩 및 디코딩을 위한 오디오 코덱 구현.
• MLXAudioUI: 오디오 인터페이스 구축을 위한 SwiftUI 컴포넌트.

대상 사용자

macOS (14+) 및 iOS (17+)용 애플리케이션을 개발하며, Apple Silicon 하드웨어에서 전사, 음성 합성, 화자 식별과 같은 AI 기반 오디오 기능을 통합하려는 Swift 개발자.

주요 특징

• 모듈형 설계: 앱에 필요한 특정 모듈(예: TTS 또는 STT)만 선택적으로 가져오기 가능.
• 광범위한 모델 지원: Whisper, Qwen3, Soprano를 포함한 방대한 모델 구현 지원.
• Apple Silicon 최적화: MLX 프레임워크를 사용하여 M 시리즈 칩에 맞게 특별히 튜닝됨.
• 실시간 기능: 저지연 TTS를 위한 스트리밍 오디오 생성 지원.
• 자동 통합: 단 한 줄의 코드로 HuggingFace에서 모델 로딩을 간소화.