soniqo/speech-swift

什么是 Speech Swift？

Speech Swift 是一个开源的 Swift 包，为 Apple Silicon 设备（Mac、iPhone、iPad）带来了一整套现代 AI 语音模型。所有推理都在本地执行——没有云端服务、没有 API 密钥，且您的音频永远不会离开设备。该库建立在两个对 Apple 友好的运行环境之上：

• MLX – 一个快速的 GPU 加速框架，用于在 macOS 上运行大型语言模型风格的网络。
• Core ML – Apple 的设备端推理引擎，可在神经引擎 (ANE) 上运行以实现超低延迟。

该包将每个模型作为独立的 Swift-Package-Manager 产品发布，因此您只需引入您实际需要的模型。

---

主要功能（按任务分组）

类别	示例模型（大小）	功能
语音转文字 (ASR)	Qwen3-ASR (0.6-1.7 B), Whisper-ASR (Large-v3 Turbo), Omnilingual ASR (最高 7 B, 1 672 种语言)	将音频转换为文字，许多支持流式传输、标点符号、说话人日志和多语言输出。
对齐	Qwen3-ForcedAligner (0.6 B)	接收音频 + 文字记录并返回单词级别的时间戳。
文字转语音 (TTS)	Qwen3-TTS (0.6-1.7 B), CosyVoice 3 (0.5 B), Kokoro 82 M, Supertonic 3 (99 M)	高质量流式合成；许多模型支持零样本语音克隆、情感标签和多说话人输出。
LLM 与翻译	Qwen3Chat (0.8-4 B), FunctionGemma (270 M), MADLAD-400 (3 B, 400+ 种语言)	设备端聊天、工具调用和多对多文本翻译。
语音转语音 / 语音代理	PersonaPlex (7 B), VoiceChat 11 B, Hibiki Zero-3 B	全双工音频输入 → 音频输出流水线，实现可持续聆听和说话的对话代理。
音频增强	DeepFilterNet3 (2.1 M), LocalVQE AEC, 音源分离 (HTDemucs + Open-Unmix)	实时降噪、回声消除和音乐音轨分离。
实用工具	唤醒词检测、VAD、说话人日志、说话人嵌入	构建强大的语音激活界面并识别说话人。

---

如何开始（快速示例）

import ParakeetStreamingASR   // 仅引入流式 ASR 产品

let model = try await ParakeetStreamingASRModel.fromPretrained()
let text  = try model.transcribeAudio(audioSamples, sampleRate: 16_000)

同一个模型也提供 transcribeStream 异步序列，用于实时听写。

可选的 SpeechUI 产品提供了最小化的 SwiftUI 听写视图——只需导入它并将 TranscriptionView 放入您的 UI 中即可。

---

适用对象

• iOS/macOS 开发者：想要设备端语音功能且不想支付云端 API 费用的人。
• 研究人员：寻找在 Apple 硬件上基准测试大型语音模型的便捷方式的人。
• 产品团队：构建语音助手、转录工具或必须尊重用户隐私的多模态 AI 代理的人。

---

更多信息

• 完整文档与模型目录 – https://soniqo.audio
• 预训练模型文件 – 托管于 Hugging Face 的 aufklarer 组织下。
• 社区 – Discord 服务器（邀请链接在 README 中）以及一系列博客文章，介绍性能比较、后端选择 (MLX vs Core ML) 和端到端演示。
• 安装 – brew install speech 也可通过 Homebrew 运行。

---

总结

Speech Swift 是一个全面的设备端 Swift 库，让您可以使用 MLX 或 Core ML 在 Apple Silicon 上本地运行最先进的语音转文字、文字转语音、翻译和语音代理模型。它是模块化的、文档完善的，并由一个已经依赖它的成长中开源项目生态系统所支持。