mlx-audio: Apple Siliconをサポートし、TTS、STT、およびSTSをサポートする最適化されたオーディオ処理ライブラリ

何を解決するか

MLX-Audioは、Apple Silicon（Mシリーズチップ）に特化して最適化された高性能なオーディオ処理ライブラリを提供します。MLXフレームワークを活用して高速かつ効率的な推論を行うことで、テキストから音声への変換（TTS）、音声からテキストへの書き起こし（STT）、および音声から音声への変換（STS）といった複雑なオーディオAIタスクのデプロイを簡素化します。

仕組み

このライブラリは、多種多様な学習済みオーディオモデルのための統一されたインターフェースとして機能します。Text-to-Speech (TTS)、Speech-to-Text (STT)、およびSpeech-to-Speech (STS) タスクに対して複数のアーキテクチャをサポートしています。Macハードウェア上でのパフォーマンスとメモリ使用量を最適化するために、量子化（3ビットから8ビットまで）のサポートを含み、生成と書き起こしのためのPython APIとコマンドラインインターフェースの両方を提供します。

対象ユーザー

macOSまたはiOS上でオーディオ中心のアプリケーションを構築している開発者や、Appleハードウェア上で最先端のオーディオモデルを高速に実行する方法を必要とする研究者向けに設計されています。

ハイライト

• 包括的なモデルサポート: Kokoro、Whisper、Qwen3-TTS/ASR、およびOmniVoiceを含む多数のモデルを統合しています。
• 多才なオーディオタスク: 多言語TTS、ゼロショット音声クローニング、話者ダイアリゼーション、およびノイズ抑制をサポートしています。
• OpenAI互換API: 既存のワークフローへの統合を容易にするためのREST APIサーバーを含んでいます。
• Appleエコシステムとの統合: Mシリーズチップ向けに最適化されており、ネイティブiOS/macOSアプリ開発のためのSwiftパッケージを含んでいます。
• 高度なコントロール: 音声速度の制御、Webインターフェースでの3Dオーディオ可視化、およびストリーミング音声生成を提供します。