FluidInference/FluidAudio

Frontier CoreML audio models in your apps — text-to-speech, speech-to-text, voice activity detection, and speaker diarization. In Swift, powered by SOTA open source.

解决的问题

FluidAudio 为 Apple 硬件提供设备端、低延迟的语音能力。它让应用能够转写语音、合成语音、检测说话、分离说话人以及清理音频——所有这些都无需将数据发送到云端。

工作原理

该 SDK 提供了 CoreML 模型的 Swift 绑定，这些模型已针对 Apple 神经引擎（ANE）进行了转换和优化。模型涵盖数十种语言的自动语音识别（ASR）、逆文本正则化、文本转语音、语音活动检测、说话人分离、说话人嵌入提取以及回声/噪声抑制。开发者只需几次 Swift 调用即可添加所需功能；繁重的工作在 ANE 上运行，保持 CPU 使用率低并保护隐私。

适用对象

  • 构建隐私优先的语音助手、听写工具、会议笔记应用或任何需要快速离线语音处理的应用的 iOS/macOS 开发者。
  • 希望将语音 AI 嵌入产品而无需依赖云 API 的公司。
  • 对在 Apple Silicon 上运行最先进音频模型感兴趣的研究人员。

亮点

  • ASR 模型（Parakeet、SenseVoice、Paraformer）支持 25 多种欧洲语言、日语、普通话以及流式实时转写。
  • 内置逆文本正则化，将口语数字转换为数字。
  • 多语言 TTS 模型（Kokoro、PocketTTS、Chatterbox）支持 SSML 控制和语音克隆。
  • 实时说话人分离和嵌入提取，适用于说话人感知应用。
  • 语音活动检测和回声/噪声抑制，延迟约 16 毫秒。
  • 所有模型在 ANE 上运行，功耗低且推理速度快。
  • 开源模型权重托管在 Hugging Face 上，采用宽松许可证。

相关

  • 项目
    argmaxinc/argmax-oss-swift

    一套为 Apple 平台提供的基于 Core ML 的端侧推理框架，提供语音转文字、文字转语音和说话人日志功能。

  • 项目
    altic-dev/FluidVoice

    FluidVoice 是一款仅适用于 macOS 的开源听写应用，使用一系列本地语音模型和可选的端侧 AI 层（Fluid Intelligence）提供实时转录，并具备智能格式化功能。它支持命令语音控制、按应用提示、全局快捷键和隐私优先操作，可通过 Homebrew 安装或从源代码构建。

  • 项目
    soniqo/speech-swift

    Speech Swift 是一个开源的 Swift 包，为 Apple Silicon 提供设备端语音 AI。它整合了许多现代 ASR、TTS、翻译和语音代理模型（例如 Qwen3-ASR、Whisper-ASR、Omnilingual ASR、Qwen3-TTS、CosyVoice、PersonaPlex），这些模型基于 MLX 和 Core ML 构建，让您无需云端调用即可在本地执行推理。每个模型都是独立的 Swift-Package-Manager 产品，方便您只添加所需的项目。仓库包含快速入门代码、SwiftUI UI 辅助工具、Homebrew 安装方式以及详尽的文档。

  • 项目
    FluidInference/FluidUse

    FluidUse 是一个 Swift 库，用于 macOS 上的设备端表单填写和类型化决策。它通过辅助功能读取 UI 字段，查询微型的 Core ML 模型（表单填写器、Laya、GLiNER2、Kev、Clef-Vision、Intern-Decision、Decision 2.0、Vela 2.0、Short-Reply），并输入或执行答案，所有操作均在本地完成，在 Apple Silicon 上延迟低于毫秒。

  • 项目
    homelab-00/TranscriptionSuite

    一款免费开源的转录应用，使用多种 AI 模型在本地计算机上将语音转换为文本，兼顾隐私与速度。