soniqo/speech-swift

AI speech toolkit for Apple Silicon — ASR, TTS, speech-to-speech, VAD, and diarization powered by MLX and CoreML

Speech Swiftとは？

Speech Swiftは、Apple Siliconデバイス（Mac、iPhone、iPad）に最新のAI音声モデル一式をもたらすオープンソースのSwiftパッケージです。すべての推論はローカルで実行されるため、クラウドサービスやAPIキーは不要で、音声データがデバイスから外部へ送信されることもありません。このライブラリは、Appleに最適化された2つのランタイム上に構築されています。

MLX – macOS上で大規模言語モデルスタイルのネットワークを実行するための高速なGPUアクセラレーションフレームワーク。
Core ML – 超低遅延を実現するためにNeural Engine (ANE) 上で実行可能な、Appleのデバイス内推論エンジン。

このパッケージは各モデルを独立したSwift-Package-Manager製品として提供しているため、実際に必要なモデルのみを取り込むことができます。

主な機能（タスク別）

カテゴリ	サンプルモデル（サイズ）	機能
音声認識 (ASR)	Qwen3-ASR (0.6-1.7 B), Whisper-ASR (Large-v3 Turbo), Omnilingual ASR (最大 7 B, 1 672 言語)	音声をテキストに変換。ストリーミング、句読点、話者分離、多言語出力をサポート。
アライメント	Qwen3-ForcedAligner (0.6 B)	音声と文字起こしを受け取り、単語レベルのタイムスタンプを返します。
音声合成 (TTS)	Qwen3-TTS (0.6-1.7 B), CosyVoice 3 (0.5 B), Kokoro 82 M, Supertonic 3 (99 M)	高品質なストリーミング合成。ゼロショット音声クローン、感情タグ、マルチ話者出力をサポート。
LLM & 翻訳	Qwen3Chat (0.8-4 B), FunctionGemma (270 M), MADLAD-400 (3 B, 400+ 言語)	デバイス内チャット、ツール呼び出し、多対多のテキスト翻訳。
音声対話 / 音声エージェント	PersonaPlex (7 B), VoiceChat 11 B, Hibiki Zero-3 B	全二重の音声入力→音声出力パイプライン。継続的に聞き取り、話す対話エージェントを実現。
音声強調	DeepFilterNet3 (2.1 M), LocalVQE AEC, 音源分離 (HTDemucs + Open-Unmix)	リアルタイムのノイズ抑制、エコーキャンセル、音楽のステム分離。
ユーティリティ	ウェイクワード検知、VAD、話者分離、話者埋め込み	強力な音声起動インターフェースの構築と話者の識別。

はじめ方（クイック例）

import ParakeetStreamingASR   // ストリーミングASR製品のみを取り込む

let model = try await ParakeetStreamingASRModel.fromPretrained()
let text  = try model.transcribeAudio(audioSamples, sampleRate: 16_000)

同じモデルは、ライブディクテーション用に transcribeStream 非同期シーケンスも提供しています。

オプションの SpeechUI 製品により、最小限のSwiftUIディクテーションビューが提供されます。インポートして TranscriptionView をUIに配置するだけです。

対象ユーザー

iOS/macOS開発者：クラウドAPIの料金を支払わずにデバイス内音声機能を利用したい方。
研究者：Appleハードウェア上で大規模音声モデルをベンチマークする便利な方法を探している方。
プロダクトチーム：ユーザーのプライバシーを尊重する必要がある音声アシスタント、文字起こしツール、またはマルチモーダルAIエージェントを構築している方。

詳細情報

完全なドキュメントとモデルカタログ – https://soniqo.audio
事前学習済みモデルファイル – Hugging Faceの aufklarer 組織でホストされています。
コミュニティ – Discordサーバー（READMEに招待リンクあり）および、パフォーマンス比較、バックエンド選択 (MLX vs Core ML)、エンドツーエンドデモを解説するブログ記事シリーズ。
インストール – brew install speech もHomebrew経由で利用可能です。

要約

Speech Swiftは、MLXまたはCore MLを使用して、Apple Silicon上で最先端の音声認識、音声合成、翻訳、および音声エージェントモデルをローカルで実行できる包括的なデバイス内Swiftライブラリです。モジュール化されており、ドキュメントも充実しており、すでにこのライブラリに依存している成長中のオープンソースプロジェクトのエコシステムによって支えられています。