argmaxinc/argmax-oss-swift

解決する課題

Argmax Open-Source SDKは、Appleプラットフォーム（macOSおよびiOS）上でAIオーディオモデルを完全にオンデバイスで実行するための、ターンキーフレームワークのセットを提供します。これにより、音声認識、音声合成、話者識別のためのクラウドベースのAPIが不要になり、プライバシーの確保とレイテンシの低減を実現します。

仕組み

このSDKはCore MLに基づいて構築されており、3つの特化した「キット」で構成されています。

• WhisperKit: 音声認識および翻訳のためにOpenAIのWhisperを実装しています。既存のクライアントとの容易な統合のために、OpenAI Audio APIを模倣したローカルサーバーが含まれています。
• TTSKit: Qwen3-TTSモデルを使用して、多言語対応、カスタムボイス、リアルタイムストリーミング再生をサポートしたテキスト読み上げを行います。
• SpeakerKit: Pyannoteを利用した話者分離により、オーディオ録音内の「誰がいつ話したか」をシステムが識別できるようにします。

対象者

外部サーバーに依存することなく、文字起こし、音声合成、話者識別などの高性能なオーディオAI機能をアプリに直接統合したい、macOSおよびiOS向けのアプリ開発者。

ハイライト

• オンデバイス推論: すべての処理はCore MLを介してApple silicon上でローカルに行われます。
• OpenAI API互換性: 標準的なOpenAI SDKクライアントを使用してローカル文字起こしができるローカルサーバーが含まれています。
• ストリーミング機能: TTSのリアルタイムストリーミング再生、およびWhisperKitにおけるメモリ管理のための大きなオーディオファイルのインクリメンタルロードをサポートしています。
• 多言語サポート: TTSKitは10言語と複数の内蔵ボイスをサポートしています。WhisperKitは、精度と速度のトレードオフに応じてさまざまなモデルサイズをサポートしています。