Blaizzy/mlx-audio

A text-to-speech (TTS), speech-to-text (STT) and speech-to-speech (STS) library built on Apple's MLX framework, providing efficient speech analysis on Apple Silicon.

解决的问题

MLX-Audio 提供了一个统一的高性能库，用于直接在 Apple Silicon 硬件上运行先进的音频 AI 模型，包括文本转语音 (TTS)、语音转文本 (STT)、语音转语音 (STS) 和音乐生成。

工作原理

它利用 Apple 的 MLX 框架优化了 M 系列芯片上的模型推理。该库支持多种模型架构，并提供量化（3-bit 到 8-bit）以减少内存占用、流式音频输出和声音克隆等功能。用户可以通过命令行界面、Python API 或内置的包含 3D 音频可视化的 Web 服务器与这些模型进行交互。

适用人群

本项目适用于在 Apple Silicon 上工作且需要集成或试验最先进音频模型，而无需依赖云端 API 的开发者和研究人员。它也适合希望通过提供的 Swift package 将这些功能集成到原生应用中的 iOS/macOS 开发者。

主要亮点

  • 针对 Apple Silicon 进行了优化，支持多种量化级别（3-bit、4-bit、6-bit、8-bit）。
  • 广泛的模型支持，包括 Whisper、Kokoro、Qwen3-TTS 等。
  • 功能包括声音克隆、语音转语音交互和音乐生成。
  • 提供 Python API 和兼容 OpenAI 的 REST API，便于集成。
  • 包含带有实时音频可视化的交互式 Web 界面。

相关

  • 项目
    Blaizzy/mlx-audio-swift

    一个用于 Apple Silicon 音频处理的模块化 Swift SDK，利用 MLX 框架为 TTS、STT、VAD 和音频编解码器提供统一的 API。

  • 项目
    jrz97619761/test-model-thing

    Test-Model-Thing (TMT) 是一个基于MLX的小型语言模型（约450万参数），它实验了潜在空间预测、循环迹单元、字节级输入输出、连续流式处理以及测试时训练。它可以在Apple Silicon（以及Linux）上运行，并通过简单的命令行界面进行训练或用于聊天。该仓库提供了训练、推理和CoLA基准测试脚本，但不包含预训练权重；用户必须自行训练模型。

  • 项目
    soniqo/speech-swift

    Speech Swift 是一个开源的 Swift 包，为 Apple Silicon 提供设备端语音 AI。它整合了许多现代 ASR、TTS、翻译和语音代理模型（例如 Qwen3-ASR、Whisper-ASR、Omnilingual ASR、Qwen3-TTS、CosyVoice、PersonaPlex），这些模型基于 MLX 和 Core ML 构建，让您无需云端调用即可在本地执行推理。每个模型都是独立的 Swift-Package-Manager 产品，方便您只添加所需的项目。仓库包含快速入门代码、SwiftUI UI 辅助工具、Homebrew 安装方式以及详尽的文档。

  • 项目
    senstella/parakeet-mlx

    Parakeet MLX 是一个 Python 包，通过 MLX 框架在 Apple Silicon Mac 上运行 Nvidia 的 Parakeet 语音转文字模型。它提供 CLI 和 Python API，用于转录带有时间戳的音频文件（或实时流），并支持贪婪或束搜索解码、分块、局部注意力机制以及多种输出格式。

  • 项目
    KoljaB/RealtimeTTS

    一个提供统一、低延迟流式文本转语音接口的Python库，旨在与LLM令牌流及各种本地或云端音频引擎无缝集成。