Blaizzy/mlx-audio-swift

解決する課題

MLX Audio Swiftは、高性能なオーディオAIモデルをmacOSおよびiOSアプリケーションに統合するためのモジュール式Swift SDKを提供します。Apple Silicon上での多様なオーディオ処理タスクにアクセスするための統一された型安全なAPIを提供することで、複雑なセットアップを不要にします。

仕組み

このSDKはMLXフレームワークに基づいて構築されており、モジュール単位で構成されているため、開発者は必要なコンポーネントのみをインポートしてアプリケーションサイズを小さく保つことができます。HuggingFace Hubからのモデルの自動ダウンロードをサポートし、非同期処理にはネイティブのSwift async/awaitを利用します。ライブラリは以下の専門モジュールに分かれています。

• MLXAudioCore: 基本ユーティリティと型。
• MLXAudioTTS: テキスト読み上げ（Text-to-Speech）生成。
• MLXAudioSTT: 音声認識（Speech-to-Text）文字起こし。
• MLXAudioVAD: 音声区間検出（VAD）および話者分離。
• MLXAudioSTS: 音声対音声（Speech-to-Speech）処理。
• MLXAudioCodecs: オーディオトークンのエンコードおよびデコードのためのオーディオコーデック実装。
• MLXAudioUI: オーディオインターフェース構築用のSwiftUIコンポーネント。

対象ユーザー

macOS (14+) および iOS (17+) 向けに開発を行っており、Apple Siliconハードウェア上で文字起こし、音声合成、話者識別などのAI駆動型オーディオ機能を統合したいSwift開発者。

ハイライト

• モジュール式設計: アプリに必要な特定のモジュール（TTSやSTTなど）のみをインポート可能。
• 広範なモデルサポート: Whisper、Qwen3、Sopranoなど、膨大な数のモデル実装を網羅。
• Apple Silicon最適化: MLXフレームワークを使用してMシリーズチップ向けに特別にチューニング。
• リアルタイム機能: 低遅延のTTSを実現するストリーミングオーディオ生成をサポート。
• 自動統合: 1行のコードでHuggingFaceからのモデル読み込みを簡素化。