Blaizzy/mlx-audio

A text-to-speech (TTS), speech-to-text (STT) and speech-to-speech (STS) library built on Apple's MLX framework, providing efficient speech analysis on Apple Silicon.

解決する課題

MLX-Audio は、テキスト読み上げ (TTS)、音声認識 (STT)、音声対音声 (STS)、音楽生成などの高度なオーディオ AI モデルを Apple Silicon ハードウェア上で直接実行するための、統合された高性能ライブラリを提供します。

仕組み

Apple の MLX フレームワークを活用し、M シリーズチップ向けにモデル推論を最適化しています。このライブラリは幅広いモデルアーキテクチャをサポートしており、メモリ使用量を削減するための量子化（3-bit から 8-bit）、ストリーミングオーディオ出力、ボイスクローニングなどの機能を備えています。ユーザーは、コマンドラインインターフェース、Python API、または 3D オーディオ可視化機能を備えた組み込み Web サーバーを通じて、これらのモデルと対話できます。

対象ユーザー

本プロジェクトは、クラウドベースの API に依存することなく、最先端のオーディオモデルを統合または実験する必要がある Apple Silicon 上の開発者や研究者を対象としています。また、提供されている Swift package を通じてこれらの機能をネイティブアプリケーションに組み込みたい iOS/macOS 開発者にも適しています。

主な特徴

  • Apple Silicon 向けに最適化されており、さまざまな量子化レベル（3-bit、4-bit、6-bit、8-bit）をサポート。
  • Whisper、Kokoro、Qwen3-TTS など、幅広いモデルをサポート。
  • ボイスクローニング、音声対音声の対話、音楽生成などの機能を搭載。
  • 統合を容易にする Python API と OpenAI 互換の REST API を提供。
  • リアルタイムのオーディオ可視化機能を備えたインタラクティブな Web インターフェースを同梱。

関連

  • プロジェクト
    Blaizzy/mlx-audio-swift

    Apple Silicon上でのオーディオ処理のためのモジュール式Swift SDK。MLXフレームワークを使用して、TTS、STT、VAD、およびオーディオコーデックのための統一されたAPIを提供します。

  • プロジェクト
    jrz97619761/test-model-thing

    Test‑Model‑Thing (TMT) は、MLXベースの小さな言語モデル（約450万パラメータ）で、潜在空間予測、リカレントトレースユニット、バイトレベルI/O、連続ストリーミング、テスト時トレーニングを実験しています。Apple Silicon（およびLinux）で動作し、シンプルなCLIでトレーニングやチャットが可能です。リポジトリにはトレーニング、推論、CoLAベンチマーク用のスクリプトが含まれていますが、事前トレーニング済みの重みは含まれておらず、ユーザーは自分でモデルをトレーニングする必要があります。

  • プロジェクト
    soniqo/speech-swift

    Speech Swiftは、Apple Silicon向けのデバイス内音声AIを提供するオープンソースのSwiftパッケージです。MLXおよびCore MLに基づいて構築された多くの最新のASR、TTS、翻訳、および音声エージェントモデル（Qwen3-ASR、Whisper-ASR、Omnilingual ASR、Qwen3-TTS、CosyVoice、PersonaPlexなど）をバンドルしており、クラウド呼び出しなしでローカルで推論を実行できます。各モデルは個別のSwift-Package-Manager製品であるため、必要なものだけを簡単に追加できます。リポジトリには、クイックスタートコード、SwiftUI UIヘルパー、Homebrewインストール、および広範なドキュメントが含まれています。

  • プロジェクト
    senstella/parakeet-mlx

    Parakeet MLXは、MLXフレームワークを使用してAppleシリコン搭載Mac上でNvidiaのParakeet音声認識モデルを実行するためのPythonパッケージです。CLIとPython APIを提供し、タイムスタンプ付きの音声ファイル（またはライブストリーム）の文字起こしをサポートします。貪欲法またはビームサーチデコード、チャンク処理、ローカルアテンション、および複数の出力形式に対応しています。

  • プロジェクト
    KoljaB/RealtimeTTS

    LLMトークンストリームや様々なローカル・クラウドベースの音声エンジンとシームレスに統合できるよう設計された、ストリーミングテキスト読み上げのための統一された低遅延インターフェースを提供するPythonライブラリ。