argmaxinc/argmax-oss-swift
On-device Speech AI for Apple Silicon
解决的问题
Argmax Open-Source SDK 提供了一套开箱即用的框架，可在 Apple 平台（macOS 和 iOS）上完全在设备端运行 AI 音频模型。它消除了对语音转文字、文字转语音和说话人识别云端 API 的需求，确保了隐私并降低了延迟。
工作原理
该 SDK 基于 Core ML 构建，由三个专门的“套件”组成：
- WhisperKit：实现 OpenAI 的 Whisper 用于语音转文字转录和翻译。它包含一个模拟 OpenAI Audio API 的本地服务器，以便与现有客户端轻松集成。
- TTSKit：使用 Qwen3-TTS 模型将文本转换为语音，支持多种语言、自定义声音和实时流式播放。
- SpeakerKit：利用 Pyannote 进行说话人日志，允许系统识别音频录制中“谁在何时说话”。
适用对象
正在为 macOS 和 iOS 进行开发，并希望将高性能音频 AI 能力（如转录、语音合成和说话人识别）直接集成到应用中，而不依赖外部服务器的开发者。
亮点
- 端侧推理：所有处理均通过 Core ML 在 Apple silicon 上本地完成。
- OpenAI API 兼容性：包含一个本地服务器，允许开发者使用标准的 OpenAI SDK 客户端进行本地转录。
- 流式传输能力：支持 TTS 的实时流式播放，以及 WhisperKit 中用于管理内存的大型音频文件的增量加载。
- 多语言支持：TTSKit 支持 10 种语言和多种内置声音；WhisperKit 支持用于不同精度/速度权衡的各种模型大小。
相关
- 项目
FluidInference/FluidAudioFluidAudio 是一个 Swift SDK，通过在 Apple 神经引擎上运行优化的 CoreML 模型，为 iOS 和 macOS 带来完全本地、低延迟的语音 AI——ASR、TTS、VAD、说话人分离和增强。
- 项目
- 项目
TypeWhisper/typewhisper-macTypeWhisper 是一款 macOS 应用程序，提供设备端或云端语音转文字、全局快捷键听写以及可自定义的 AI 工作流（翻译、重写、提取等）。它支持多种本地和云端 ASR 引擎、插件 SDK、本地 REST API、CLI 工具、iCloud 同步以及高级会议自动化功能，并配有精美的 UI、可视化快捷键编辑和组件支持。
- 项目
TheStageAI/TheWhisperTheWhisper 是一个开源、高性能的语音转文本系统，构建于微调后的 Whisper-large 模型之上。它提供在 NVIDIA GPU（通过 TheStage AI 的 ElasticModels）与 Apple Silicon（CoreML/MLX）上的流式、低延迟推理，并附有 Python API、Electron 演示，以及显示在 L40 GPU 上约 220 tokens/s、在 Mac 上约 2 W 功耗的基准测试。
- 项目
soniqo/speech-swiftSpeech Swift 是一个开源的 Swift 包，为 Apple Silicon 提供设备端语音 AI。它整合了许多现代 ASR、TTS、翻译和语音代理模型（例如 Qwen3-ASR、Whisper-ASR、Omnilingual ASR、Qwen3-TTS、CosyVoice、PersonaPlex），这些模型基于 MLX 和 Core ML 构建，让您无需云端调用即可在本地执行推理。每个模型都是独立的 Swift-Package-Manager 产品，方便您只添加所需的项目。仓库包含快速入门代码、SwiftUI UI 辅助工具、Homebrew 安装方式以及详尽的文档。