A text-to-speech (TTS), speech-to-text (STT) and speech-to-speech (STS) library built on Apple's MLX framework, providing efficient speech analysis on Apple Silicon.

MLX‑Audio – Apple‑Siliconネイティブで高速な音声AIライブラリ

概要 – AppleのMLXフレームワーク上で動作する、最先端の音声および音楽モデルの多数をラップするPythonパッケージ（およびオプションのSwiftパッケージ）。CLIツール、Python API、Web UI、OpenAI互換RESTエンドポイントを提供し、以下の機能を実現します：

テキストから音声（TTS）
音声からテキスト（STT / ASR）
音声から音声 / ソース分離
音声活動検出と話者ダイアライゼーション
音楽生成
3〜8ビットの量子化による低メモリデバイス向け推論（Mシリーズチップ対応）

クイックスタート（CLI）

# パッケージのインストール
pip install mlx-audio   # または: uv tool install mlx-audio

# 短いTTSクリップを生成（デフォルトのボイス「Vivian」）
mlx_audio.tts.generate \
    --model mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit \
    --text "Hello, world!" \
    --play

--streamを追加すると生成中に音声を聴くことができ、--saveでディスクに保存、--join_audioで複数セグメントの出力を1つのファイルに結合できます。

クイックスタート（Python）

from mlx_audio.tts.utils import load_model

model = load_model("mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-8bit")
for result in model.generate(
        "Hello from MLX‑Audio!",
        voice="Vivian",
        lang_code="English",
    ):
    # result.audio は波形を含む mx.array
    print("generated", result.audio.shape[0], "samples")

STT、VAD、ダイアライゼーションなどにも同様のパターンが適用でき、対応する mlx_audio.stt や mlx_audio.vad モジュールを使用します。

コア機能（READMEより）

Apple‑Silicon最適化 – MLXバックエンド上で推論が実行され、Mシリーズチップで低遅延の生成を実現。
広範なモデルカタログ – Hugging Faceに多数の事前ホスティングモデル（例：Kokoro、OmniVoice、Qwen3‑TTS、Whisper、VAD、音楽生成モデル）を提供。多くのモデルは8ビット、4ビット、3ビットの量子化バージョンを備える。
多言語対応・ボイスクラウンニング – 20言語以上をサポート。OmniVoice、Higgs Audio、CSMなど複数のモデルは、参照音声から話者の声をクローン可能。
ストリーミング・リアルタイム制御 – TTS用の --stream フラグ、ストリーミングASRモデル（例：Nemotron 3.5‑ASR‑streaming、VibeVoice‑ASR）、フルデュプレックスVoiceChatをサポート。
Web UI – 3D音声可視化を備えたインタラクティブなブラウザインターフェース。
OpenAI互換REST API – OpenAIの audio/speech エンドポイントの即時置き換え可能。
量子化 – 3、4、6、8ビット（およびMXFP形式）をサポートし、ノートPCの限られたメモリに大規模モデルを収める。
Swiftパッケージ – iOS/macOSネイティブアプリ向けのオプション統合。

モデルカテゴリ（抜粋）

カテゴリ	例モデル	言語 / 備考
TTS	Kokoro、OmniVoice、Qwen3‑TTS、Higgs Audio v3、Voxtral‑TTS	20言語以上、ボイスクローン、速度制御
STT / ASR	Whisper‑large‑v3‑turbo、Qwen3‑ASR、VibeVoice‑ASR、Moonshine	99言語以上（Whisper）、ストリーミングバージョン
VAD / Diarization	Silero VAD、Sortformer v1/v2.1	言語非依存、最大4話者
STS / Enhancement	SAM‑Audio（ソース分離）、DeepFilterNet、NemotronLabs VoiceChat	ノイズ除去、フルデュプレックス音声チャット
音楽生成	MiniMax Music 3（階層的AR + フローマッチング）	多言語歌詞、44.1 kHzステレオ

インストール方法

方法	コマンド	使用タイミング
標準pip	`pip install mlx-audio`	シンプルなローカル利用、コアライブラリを含む。
uv（CLIツールのみ）	`uv tool install --force mlx-audio`	`mlx_audio.*` コマンドラインユーティリティのみが必要な場合。
ソースから（開発／サーバー）	```bash
git clone https://github.com/Blaizzy/mlx-audio.git
cd mlx-audio
pip install -e ".[dev, server]"


---
## Web UI / APIサーバーの実行
```bash
# "server"エクストラでインストール後
mlx_audio.server --host 0.0.0.0 --port 8000

UIは http://localhost:8000 でアクセス可能。テキストボックス、ボイスセレクター、3D波形可視化が利用可能。

ライセンスと引用

ライセンス: MIT（READMEのバッジ参照）。
引用: READMEにCitationセクションあり。結果を公開する際は、元モデルリポジトリ（例：Qwen3‑TTS、Whisper）を引用することを推奨。

どんな人が使う？

MacノートPC上で低遅延音声合成・認識が必要な音声アシスタントやマルチモーダルエージェントを開発する開発者。
新しい音声モデルをプロトタイピングする研究者で、Appleハードウェア上で統一インターフェースと簡単な量子化を希望する人。
iOS/macOSアプリ開発者で、Swift互換の音声AI SDKを探している人。
クラウドコストなしでローカルでTTS/ボイスクローンパイプラインを必要とするクリエイター。

まとめ

MLX‑Audioは、数十種類の最先端音声・音楽モデルを統合し、CLIとPython APIを提供、激しい量子化をサポートし、Web UIとOpenAI互換サーバーも備える、Apple‑Siliconに特化した包括的なツールキットです。大規模音声モデルの重い世界を、MacBook上でローカルで実行できるものに変えるのです。

Blaizzy/mlx-audio