Blaizzy/mlx-audio

A text-to-speech (TTS), speech-to-text (STT) and speech-to-speech (STS) library built on Apple's MLX framework, providing efficient speech analysis on Apple Silicon.

해결하는 문제

MLX-Audio는 텍스트 음성 변환(TTS), 음성 인식(STT), 음성 대 음성(STS) 및 음악 생성을 포함한 고급 오디오 AI 모델을 Apple Silicon 하드웨어에서 직접 실행하기 위한 통합된 고성능 라이브러리를 제공합니다.

작동 방식

Apple의 MLX 프레임워크를 활용하여 M 시리즈 칩에 대한 모델 추론을 최적화합니다. 이 라이브러리는 광범위한 모델 아키텍처를 지원하며, 메모리 사용량을 줄이기 위한 양자화(3-bit ~ 8-bit), 스트리밍 오디오 출력, 음성 복제와 같은 기능을 제공합니다. 사용자는 명령줄 인터페이스, Python API 또는 3D 오디오 시각화가 포함된 내장 웹 서버를 통해 이러한 모델과 상호 작용할 수 있습니다.

대상 사용자

이 프로젝트는 클라우드 기반 API에 의존하지 않고 최첨단 오디오 모델을 통합하거나 실험해야 하는 Apple Silicon 기반의 개발자 및 연구자를 위한 것입니다. 또한 제공된 Swift package를 통해 이러한 기능을 네이티브 애플리케이션에 통합하려는 iOS/macOS 개발자에게도 적합합니다.

주요 특징

  • Apple Silicon에 최적화되어 있으며 다양한 양자화 수준(3-bit, 4-bit, 6-bit, 8-bit)을 지원합니다.
  • Whisper, Kokoro, Qwen3-TTS 등을 포함한 광범위한 모델 지원.
  • 음성 복제, 음성 대 음성 상호 작용 및 음악 생성 기능 포함.
  • 간편한 통합을 위해 Python API와 OpenAI 호환 REST API를 모두 제공.
  • 실시간 오디오 시각화 기능을 갖춘 대화형 웹 인터페이스 포함.

관련

  • 프로젝트
    Blaizzy/mlx-audio-swift

    Apple Silicon에서의 오디오 처리를 위한 모듈형 Swift SDK로, MLX 프레임워크를 사용하여 TTS, STT, VAD 및 오디오 코덱을 위한 통합 API를 제공합니다.

  • 프로젝트
    jrz97619761/test-model-thing

    Test-Model-Thing (TMT)은 잠재 공간 예측, 순환 추적 유닛, 바이트 수준 입출력, 연속 스트리밍, 테스트 시간 학습을 실험하는 작은 MLX 기반 언어 모델(약 450만 매개변수)입니다. Apple Silicon(및 Linux)에서 실행되며 간단한 CLI를 통해 학습하거나 채팅에 사용할 수 있습니다. 저장소는 학습, 추론, CoLA 벤치마킹 스크립트를 제공하지만 사전 학습된 가중치는 없습니다; 사용자는 자신의 모델을 학습해야 합니다.

  • 프로젝트
    soniqo/speech-swift

    Speech Swift는 Apple Silicon을 위한 온디바이스 음성 AI를 제공하는 오픈소스 Swift 패키지입니다. MLX 및 Core ML 기반으로 구축된 다양한 최신 ASR, TTS, 번역 및 음성 에이전트 모델(Qwen3-ASR, Whisper-ASR, Omnilingual ASR, Qwen3-TTS, CosyVoice, PersonaPlex 등)을 번들로 제공하여 클라우드 호출 없이 로컬에서 추론을 실행할 수 있습니다. 각 모델은 별도의 Swift-Package-Manager 제품이므로 필요한 것만 쉽게 추가할 수 있습니다. 저장소에는 퀵스타트 코드, SwiftUI UI 헬퍼, Homebrew 설치 방법 및 광범위한 문서가 포함되어 있습니다.

  • 프로젝트
    senstella/parakeet-mlx

    Parakeet MLX는 MLX 프레임워크를 통해 Apple Silicon Mac에서 Nvidia의 Parakeet 음성 인식 모델을 실행하는 Python 패키지입니다. CLI와 Python API를 제공하여 타임스탬프가 포함된 오디오 파일(또는 실시간 스트림)을 전사할 수 있으며, 그리디 또는 빔 서치 디코딩, 청킹, 로컬 어텐션, 다양한 출력 형식을 지원합니다.

  • 프로젝트
    KoljaB/RealtimeTTS

    LLM 토큰 스트림 및 다양한 로컬 또는 클라우드 기반 오디오 엔진과 원활하게 통합되도록 설계된, 스트리밍 텍스트 음성 변환을 위한 통합된 저지연 인터페이스를 제공하는 Python 라이브러리입니다.