argmaxinc/argmax-oss-swift
On-device Speech AI for Apple Silicon
解決する課題
Argmax Open-Source SDKは、Appleプラットフォーム（macOSおよびiOS）上でAIオーディオモデルを完全にオンデバイスで実行するための、ターンキーフレームワークのセットを提供します。これにより、音声認識、音声合成、話者識別のためのクラウドベースのAPIが不要になり、プライバシーの確保とレイテンシの低減を実現します。
仕組み
このSDKはCore MLに基づいて構築されており、3つの特化した「キット」で構成されています。
- WhisperKit: 音声認識および翻訳のためにOpenAIのWhisperを実装しています。既存のクライアントとの容易な統合のために、OpenAI Audio APIを模倣したローカルサーバーが含まれています。
- TTSKit: Qwen3-TTSモデルを使用して、多言語対応、カスタムボイス、リアルタイムストリーミング再生をサポートしたテキスト読み上げを行います。
- SpeakerKit: Pyannoteを利用した話者分離により、オーディオ録音内の「誰がいつ話したか」をシステムが識別できるようにします。
対象者
外部サーバーに依存することなく、文字起こし、音声合成、話者識別などの高性能なオーディオAI機能をアプリに直接統合したい、macOSおよびiOS向けのアプリ開発者。
ハイライト
- オンデバイス推論: すべての処理はCore MLを介してApple silicon上でローカルに行われます。
- OpenAI API互換性: 標準的なOpenAI SDKクライアントを使用してローカル文字起こしができるローカルサーバーが含まれています。
- ストリーミング機能: TTSのリアルタイムストリーミング再生、およびWhisperKitにおけるメモリ管理のための大きなオーディオファイルのインクリメンタルロードをサポートしています。
- 多言語サポート: TTSKitは10言語と複数の内蔵ボイスをサポートしています。WhisperKitは、精度と速度のトレードオフに応じてさまざまなモデルサイズをサポートしています。
関連
- プロジェクト
FluidInference/FluidAudioFluidAudio は、Apple Neural Engine 上で最適化された CoreML モデルを実行することで、完全にローカルで低遅延の音声 AI（ASR、TTS、VAD、ダイアライゼーション、強調）を iOS および macOS に提供する Swift SDK です。
- プロジェクト
Blaizzy/mlx-audio-swiftApple Silicon上でのオーディオ処理のためのモジュール式Swift SDK。MLXフレームワークを使用して、TTS、STT、VAD、およびオーディオコーデックのための統一されたAPIを提供します。
- プロジェクト
TypeWhisper/typewhisper-macTypeWhisperは、デバイス内またはクラウドでの音声認識、グローバルホットキーによるディクテーション、およびカスタマイズ可能なAIワークフロー（翻訳、リライト、抽出など）を提供するmacOSアプリです。多数のローカルおよびクラウドASRエンジン、プラグインSDK、ローカルREST API、CLIツール、iCloud同期、プレミアムな会議自動化機能を備え、洗練されたUI、視覚的なショートカット編集、ウィジェットサポートを提供します。
- プロジェクト
TheStageAI/TheWhisperTheWhisper は、ファインチューニングされた Whisper-large モデルを基盤とするオープンソースの高性能音声認識システムです。NVIDIA GPU（TheStage AI の ElasticModels 経由）および Apple Silicon（CoreML/MLX）上でのストリーミング・低遅延推論を提供し、Python API、Electron デモ、L40 GPU で約 220 tokens/s、Mac で約 2 W の消費電力を示すベンチマークを備えています。
- プロジェクト
soniqo/speech-swiftSpeech Swiftは、Apple Silicon向けのデバイス内音声AIを提供するオープンソースのSwiftパッケージです。MLXおよびCore MLに基づいて構築された多くの最新のASR、TTS、翻訳、および音声エージェントモデル（Qwen3-ASR、Whisper-ASR、Omnilingual ASR、Qwen3-TTS、CosyVoice、PersonaPlexなど）をバンドルしており、クラウド呼び出しなしでローカルで推論を実行できます。各モデルは個別のSwift-Package-Manager製品であるため、必要なものだけを簡単に追加できます。リポジトリには、クイックスタートコード、SwiftUI UIヘルパー、Homebrewインストール、および広範なドキュメントが含まれています。